Из-за большого объема данных в Интернете поисковые системы не сразу узнают о появлении новых страниц или изменении старых. Соответственно, поисковый индекс является своего рода историческим слепком сети, а не его текущим представлением. Пользователь же ожидает видеть актуальную информацию при клике на результаты поиска. Но обходить интернет с частотой появления/обновления контента в нем для хранения свежего индекса невозможно.
Частично это проблема решается в Яндексе, Google и других ПС расстановкой приорит...