Если Googlebot не может получить доступ к файлу robots.txt из-за ошибки 5xx, то он не будет сканировать сайт. Об этом заявил один из сотрудников команды поиска на Google Webmaster Conference, которая прошла в начале этой недели в штаб-квартире компании GooglePlex. Согласно Google, при сканировании robots.txt ошибка 5xx возвращается в 5% случаев, в 69% — краулер […]
Сообщение Если файл robots.txt возвращает ошибку 5xx, то Google не будет сканировать сайт появились сначала на Searchengines.ru....