Google открыл исходный код своего парсера для robots.txt

В рамках инициативы по переводу Robots Exсlusion Protocol (REP) в разряд официальных стандартов Google открыл исходный код своего парсера для robots.txt. В частности, речь идёт о C++ библиотеке, которую системы Google используют для парсинга и сопоставления правил в файлах robots.txt. Эта библиотека существует уже около 20 лет и содержит фрагменты кода, которые были написаны ещё […] Сообщение Google открыл исходный код своего парсера для robots.txt появились сначала на Searchengines.ru....