Рано или поздно на сайте необходимо проводить технические работы, это может быть обновление движка, переделка структуры или просто модернизация ПО. Здесь возникает вопрос, как это сделать максимально безболезненно для SEO? Правильно в этом случае будет использовать 503 код статуса в http-заголовках отдаваемых страниц, который как раз и говорит, что “сервис временно недоступен, попробуйте позже”. Но как именно в этом случае ведут себя поисковые системы?
В идеале, роботы должны работать по интернет-стандартам...