Яндекс внес изменения в алгоритм работы поисковых роботов. Так как новый контент на сайтах появляется в основном днем, часть ночного обхода робота была перенесена на дневное время. Сделано это было для того, более своевременно и полно индексировать свежую информацию, объяснил Александр Садовский, руководитель отдела веб-поиска Яндекса, в своем комментарии для Roem.ru.
Подобное изменение внедрялось плавно, в течение месяца - со 2 апреля по 4 мая. «Это изменение практически не сказалось на общем количестве обращений робота к сайтам - оно только перераспределило нагрузку между дневным и ночным временем в сторону первого, - говорит Александр. - Несложные защиты от DDoS-атак могли ошибочно счесть за атаку увеличение числа обращений от робота в дневное, пиковое, время - и запретить обращение к сайту».
Так, и произошло. Сергей Кошкин, гендиректор компании "Смартсео" отметил, что с начала мая часть клиентов компании выпала из поискового индекса Яндекса, так как "Мастерхост" просто перестал пускать робота Яндекса на соответствующие сайты. "Мастерхост" счел действия индексаторов Яндекса похожими на DDoS-атаку.
По словам Александра Садовского, сколько-нибудь заметного "выпадения" сайтов не наблюдается, следовательно, бóльшая часть хостингов перенесла изменения нормально.
В тему
Сайт работает на системе 
Техническая реализация: