В том случае, если в инструкциях в файле robots.txt не указан Applebot, поисковый робот Apple следует директивам для Googlebot. Этой информацией с вебмастерами поделился специалист службы качества поиска Google Джон Мюллер (John Mueller).
Что касается Bing, Yahoo и других поисковых систем, они следуют директивам, предназначенным только для их собственных поисковых роботов, а не Googlebot.
На официальной странице AppleBot по этому поводу говорится следующее: «Если в инструкциях файла robots не упоминается ...
-
Поисковый робот Apple следует директивам для GoogleBot
searchengines.ru