Google решил сделать протокол REP для robots.txt официальным стандартом

12:04 02.07.2019
В рамках этой инициативы исходных код парсера robots.txt теперь выложен в открытом доступе...
Теги: Google
  379