Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер предупредил, что заблокированные в robot.txt страницы могут по-прежнему индексироваться при наличии ссылок, указывающих на них. И это может стать проблемой, поскольку в данном случае Google будет видеть эти страницы как не имеющие контента из-за блокировки от сканирования. По словам Мюллера, если на сайте есть контент, […]
Сообщение Google: блокировка страницы в robots.txt может не сработать, если на неё есть ссылки появились снача...