Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер объяснил, как определяется релевантность запросу для тех страниц, что заблокированы от сканирования с помощью robots.txt. Как стало известно ранее, Google может индексировать заблокированные в robots.txt страницы, если на них есть ссылки. Но как Google определяет, по каким типам запросов ранжировать эти URL? Вопрос к Мюллеру […]
Сообщение Джон Мюллер: как Google ранжирует страницы, заблокированные в robots.txt появились сначала на ...