Для того чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, Яндекс решил отказаться от учета директивы Crawl-delay. Не секрет, что многие вебмастера частенько не задумываются о значении этой директивы и ее правильной настройке в файле robots.txt. Между тем именно Crawl-delay отвечает за то, как часто робот может обращаться к сайту. В результате ошибочно установленных значений директивы, например, страницы сайта длительное […]...