Google опубликовал список всех изменений в спецификации robots.txt

В рамках работы по переводу Robots Exclusion Protocol (REP) в разряд официальных интернет-стандартов Google обновил свою документацию по robots.txt. Все изменения перечислены в новом разделе «What changed» на странице Robots.txt Specifications. В их числе значатся следующие: Удалён раздел «Язык требований»; Robots.txt теперь принимает все протоколы на основе URI; Google выполняет минимум пять повторений для переадресации. […] Сообщение Google опубликовал список всех изменений в спецификации robots.txt появи...