Google решил сделать протокол REP для robots.txt официальным стандартом

12:04 02.07.2019

В рамках этой инициативы исходных код парсера robots.txt теперь выложен в открытом доступе...