Google заявил, что хочет сделать Robots Exclusion Protocol (REP) официальным стандартом. Для этого компания вместе с создателем протокола, вебмастерами и другими поисковыми системами задокументировала, как REP используется в современном вебе, и подала проект спецификации на рассмотрение в Инженерный совет интернета (англ. Internet Engineering Task Force, IETF). Протокол исключений для роботов был разработан голландским инженером Мартейном Костером […]
Сообщение Google хочет сделать Robots Exclusion Protocol...