Яндекс рассказал об изменениях в обработке robots.txt

15:05 10.06.2016

Поисковые роботы Яндекса перестали учитывать пустую директиву Allow как запрещающий сигнал...