Microsoft дрессирует краулер Live Search

Microsoft Live Search усовершенствовал свой краулер, эти инновации должны в значительной степени повлиять на эффективность его работы - обхода и индексации веб-сайтов. «Мы всегда рассматриваем любые возможности, которые могут упростить работу вебмастеров, надеемся, что последние нововведения станут одним из шагов в этом направлении», - комментирует команда Microsoft.

Итак, чему научился краулер Live Search:
HTTP Compression: предусмотрена возможность сжатия передаваемых данных, которая позволит существенно сэкономить трафик и временя передачи. Предусматриваются наиболее распространенные методы сжатия gzip и deflate. Сжатие поддерживается практически всеми браузерами и поисковыми системами.

Conditional Get: поддержка условного GET-запроса. Страница будет загружаться, только если она была изменена с момента последнего обращения краулера. Согласно стандарту, теперь краулер будет указывать заголовки "If-Modified-Since", "If-None-Match" и время последней загрузки в Get-запросе. Если страница не была изменена, будет выдан специальный HTTP-ответ “304 Not Modified”, означающий, что страница не изменилась.

Это очень полезные возможности HTTP-протокола, позволяющие заметно сэкономить трафик и нагрузку, как клиенту, так и серверу. Однако прямые конкуренты Microsoft Live Search намного раньше поняли это и сразу предложили своим пользователям. Поэтому это сложно назвать инновациями, больше попытками угнаться за впередиидущими.

Напомним, что некоторое время назад Microsoft сообщал о качественном изменении своего поиска в версии Live Search 2.0, который, по словам разработчиков, стал намного релевантней.