Сегодня, как никогда оперативно, Яндекс дал ответ на заданный в с SEO-клубе на Я.ру вопрос оптимизатора. Главный интернет-маркетолог InterLabs Олег Сахно в полдень опубликовал пост о том, что сегодня произошел резкий скачок количества проиндексированных поисковиком документов – их стало больше на 1 миллиард. Отметим, что за целый год с апреля 2007 года до сегодняшнего дня количество страниц в интексе Яндекса постепенно увеличилось примерно на тот же 1 миллиард.

Поэтому логично, что оптимизаторы начали строить различные предположения о возможном «глюке циферки» или «выпускании на свободу» дорвеев.

Однако буквально через два часа на Яндекс.Вебмастере появился ответ: Яндекс начал искать по зарубежному интернету.

Команда Яндекса сообщает о том, что поскольку 15% пользовательских запросов к поисковой системе не содержат кириллицу, очевидна необходимость расширить базу за счет зарубежного интернета. В выдаче Яндекса и раньше можно было видеть иностранные документы, однако они были только из русскоязычной зоны интернета (она включает в себя в основном домены СНГ), т.е. по сути, выдача по иностранному запросу была бедной и вряд ли релевантной.

Итак, Я.Вебмастер сообщает: «Теперь мы существенно расширили базу за счет зарубежного интернета. Пока в выдачу по запросу попадает не более одного иностранного документа из этой зоны. Ранжирование происходит в соответствии с общими правилами, то есть, такой документ окажется на первом месте, только если он наиболее соответствует запросу».
Размер базы зарубежного интернета -- примерно 1 млрд веб-страниц, и эта цифра будет расти».

По поводу размеров базы вопросов не возникает, действительно как раз на миллиард страниц примерно и увеличилась база, судя по статистике. Разумеется, такое количество страниц было проиндексировано не за один день. По предположению Олега Сахно, начало индексации зарубежных ресурсов могло совпасть с установкой собственного сетевого оборудования Яндекса во Франкфурте, благодаря которому тогда было обещано увеличение скорости обмена трафиком. В этом случае зарубежные источники индексировались уже в течение 3-х месяцев. Или индексацию могли начать еще раньше, с появлением четвертого дата-центра в сентябре 2007 года. В любом случае, к сегодняшнему заявлению Яндекс готовился пошагово, а сегодня подключил кластеры с иностранными документами к общей базе кластеров.

Кстати, еще до появления нового дата-центра внимательные пользователи замечали в выдаче Яндекса значительное количество не русскоязычных сайтов. Одних только страниц из доменной зоны Германии (.DE) тогда было 3 571 911 (rhost="de*"). Заметим, что теперь эта цифра составляет 11 797 315. Количество страниц зоны .FR (Франция) по сравнению с датой сентябрьского поста выросло в 170 раз.

О том, что действительно Яндекс индексирует иноязычные сайты, говорит хотя бы вот такой пример:

Сайт miele.com, которого на начало апреля в топ30 по запросу «miele» вообще не было, теперь на 10 позиции. Таким образом, иноязычные сайты по запросам «название бренда» стали заметно выше, вероятно, за счет проиндексированных иностранных страниц со ссылками на них, предполагает Олег Сахно.

Однако вопросы вызывает качество выдачи в связи с примешиванием дополнительного миллиарда страниц из зарубежного интернета, Яндекс на всякий случай говорит, что оно «сейчас носит экспериментальный характер. После сбора статистики и пользовательских отзывов ранжирование для таких документов будет значительно улучшено».