Основы текстового ранжирования в Яндексе. Теория. (Часть 1. Принцип поиска в Яндексе)

Россия+7 (495) 960-65-87
Шрифт:
0 7751

1. Введение
2. Принцип поиска в Яндексе
3. Выводы

1. Введение

Данный мастер-класс, посвящен одной из составляющей процесса продвижения сайтов – текстовой оптимизации. Однако сразу оговоримся – это будет не руководство к действию, а больше руководство к размышлению и экспериментаторству. Вы не узнаете из прочитанного, сколько нужно раз употребить ключевое слово в тексте из 500 символов, но зато вы узнаете, как Яндекс учитывает эти самые ключевые слова, их частоту и форматирование.

Материал сделан на основе теоретических сведений, почерпнутых из различных источников, в том числе и иностранных публикаций. Также эти сведения проверялись экспериментальным путем.

2. Принцип поиска в Яндексе

Прежде всего, стоит разобраться, как работает Яндекс на этапе обработки запроса пользователя. Об этом лучше всего рассказано у Миныча - seo /">http://www.minich.ru/business/seo/. Прокомментируем его статью.

"Поиск" документов Яндексом происходит поэтапно:

-Сначала запрос анализируется, и на него накладываются контекстные ограничения по умолчанию ("переколдовка" запроса)
-Далее происходит отбор документов с найденными словами и с частично найденными словами (фильтрация по кворуму)
-Далее происходит ранжирование отобранных документов.

Итак, рассмотрим эти этапы, так как для понимания принципов текстового ранжирования это обязательно знать.

Переколдовка запроса

Слова, заданные в поисковом запросе преобразуются – на них накладываются контекстные ограничения. Преобразованная фраза в общем случае выглядит следующим образом:

(слово1: вес слова1 расстояние1 слово2: вес слова2 … и т.д.) // мягкость

-слово1, слово2 и т.д. это слова из поискового запроса
-вес слова1 – все слова, вычисляется исходя из частоты вхождений слова в коллекцию документов Яндекса. Для редких слов вес "обрезается" на большом значении и одинаков для всех редких слов. На сегодняшний момент (07.06.2007) эта величина составляет 1 819 103 916.
-расстояние1 – расстояние, в пределах которого должны встречаться слово1 и слово2.

  • & означает, что слова должны встречаться в одном пассаже (что такое пассаж – чуть позже);
  • &/(-x y) означает, что слово2 должно находить в пределах х слов считая налево от слова1 или y слов направо от слова1;
  • Двойное && между словами означает, что эти два слова могут находиться в любом месте документа;
  • Конструкция &&/(-7+7) говорит, что слово2 должны быть в тексте не далее чем на плюс-минус семь пассажей от слова1.

Например, для запроса «сравнение профилей алюминий» получим:

(сравнение::12268 & профилей::2421 &&/(-7 7) алюминий::86362)//6

Да, кстати, чтобы узнать переколдовку для фразы требуется скопировать из результатов выдачи по этому запросу адрес ссылки «сохраненная копия» и затем декодировать ее. Искомая переколдовка будет идти после параметра reqtext.

Иногда исходный запрос так переколдовывается, что некоторые слова вообще выпадают из поиска, а некоторые слова добавляются к запросу. Например, запрос «что такое seo» -

reqtext=%(!+что::204 &/(1 1) !+такое::4876) &/(1 1) seo::410666 &/(1 1) !%это::370 &/(-2 4) %означает::23971 &/(-2 4) %аббревиатура::465115 &/(-2 4) %расшифровывается::253049

Здесь мы видим, что наравне с фразой «что такое seo» будут искаться фразы «seo это», «seo означает» «seo аббревиатура расшифровывается».

Теперь необходимо сделать пояснения относительно слова «пассаж».

Пассаж – это часть текста, разделение которого происходит с помощью разделителей пассажей, которыми могут являться различные теги и знаки препинания. Принято считать, что максимальная длина пассажа равна 64 словам. Проверить максимальную длину пассажа довольно легко: нужно последовательно задавать ряд запросов в виде слово1 &/(60 100) слово2, увеличивая каждый раз значение левой границы ограничений, т.е. &/(60 100) --> &/(61 100) --> &/(62 100). Например, для запроса mp3 &/(62 100) mp3 получим:



Для запроса mp3 &/(63 100) mp3 в выдаче не будет ни одного сайта. Из этого можно сделать вывод, что максимальная длина пассажа – 64 слова. Проверка для других запросов показывает аналогичные результаты.



Какие теги являются разделителями пассажей, также легко проверить с помощью простых запросов. Сначала нужно найти подходящую страничку для проверки. На странице есть следующий код:


  • «Сайт» - адрес экспериментально сайта
  • «стоп-слова» - количество самого часто встречаемого стоп-слова в документе

    Проверим, является ли тег
  • разделителем. Введем запрос:

    «экспериментально & количество»

    Как видно, ничего не найдено. Т.е. слова «экспериментально» и «количество» находятся в разных пассажах.



    Введем запрос «экспериментально &&/(0 2) количество». Мы увидим, что страничка будет найдена. При этом в сниппете отчетливо видны 3 пассажа. То что пассаж заканчивается видно по отсутствию “…”.



    Сразу скажем, что знаки препинания: «точка», «многоточие», «двоеточие», восклицательный знак», «вопросительный знак» являются разделителями пассажей только если после них находится слово с большой буквы.

    Фильтрация по кворуму

    Наверное, вы обращали внимание, что при поиске по запросу из 4-5 слов и более найденные документы содержат не все искомые слова. Это объясняется существованием кворума - такой комбинации слов из запроса, при котором заданная комбинация считается достаточной, для того чтобы документ считался "найденным" при наличии в нем этой комбинации слов из запроса (с учетом контекстных ограничений). Например, вы искали «как выглядит птенец кукушки фото». Кворумом здесь скорее всего будет комбинация слов «как выглядит птенец кукушки», так как слово «фото» не присутствует на сайтах в выдаче.

    Получается, если бы не существовало кворума, по таким вот длинным запросам пользователю вообще бы ничего не выдавалось.

    Кворум для фразы, на самом деле, считается строго по формуле.

    Формула была озвучена еще в статье Сегаловича и Маслова http://company.yandex.ru/articles/romip2004.xml и уже далее автором проверена для двухсловных и трехсловных запросов. Точность формулы +/- 100 IDF.



    Поясним формулу на примере трехсловного запроса. «Переколдованный» он выглядит следующим образом:

    (знамение::637883 & бессилие::593625 & ртуть::29800)//6

    Данные три слова в одном предложении не встретятся, поэтому логично предположить, что Яндекс выведет в результатах поиска 0 документов. Однако как уже упоминалось, специально для таких случаев у Яндекса существует понятие кворума.

    На мой взгляд, логика ввода кворума следующая. Предполагая, что некоторые слова запроса достаточно часто встречаются в Интернете и не несут полезной информации для пользователя, Яндекс при поиске не учитывает эти слова из запроса при условии, что оставшиеся слова пройдут кворум (т.е. окажутся достаточно весомыми и контрастными на фоне «неинформативных» слов).

    В нашем примере слово «ртуть» может оказаться «неинформативным» словом, т.к. имеет значительно меньший вес по сравнению с другими словами. Посмотрим, пройдет ли кворум вхождение, содержащее только слова «знамение» и «бессилие», чтобы документ, содержащий такое вхождение, попал в результаты выдачи. Посчитаем по формуле:



    Получим: (316,0681752070) > (316,0309236502) - т.е. кворум пройден. См. рисунок 1.



    Если мы увеличим вес слова «ртуть», подняв таким образом его информативность, то получим:



    Видим, что пассажу, содержащему только слова «знамение» и «бессилие», не удается пройти кворум. Соответственно, в выдаче нет документов.



    Ранжирование отобранных (прошедших кворум) документов

    Далее происходит ранжирование прошедших кворум документов. Об этом мы поговорим в следующем мастер-классе.

    3. Выводы

    Итак, мы познакомились с основами текстового ранжирования, а точнее с той частью, которая происходит непосредственно перед оценкой текстового веса документа. Далее мы рассмотрим основные факторы, влияющие на вес.

    Попробуем также прокомментировать статью «Яндекс на РОМИП-2004. Некоторые аспекты полнотекстового поиска и ранжирования в Яндекс». Рассмотрим в совокупности уже проведенные и опубликованные на www.seonews.ru эксперименты по текстовому ранжированию, а также озвучим планы новых экспериментов.

  • Читайте нас в Telegram - digital_bar

    Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


    Новые 
    Новые
    Лучшие
    Старые
    Сообщество
    Подписаться 
    Подписаться на дискуссию:
    E-mail:
    ОК
    Вы подписаны на комментарии
    Ошибка. Пожалуйста, попробуйте ещё раз.
    Отправить отзыв
      ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
      32 инструмента в помощь SEO-специалисту
      Игорь
      1
      комментарий
      0
      читателей
      Полный профиль
      Игорь - отличная подборка, сам многим из этих сервисов пользуюсь (ETXT, TEXT.RU, Адаптивность, Pingdom Website Speed Test, Google PageSpeed Tools, 2IP, Whois, Букварикс) Правда не мог найти достойного кластеризатора, но потом наткнулся на вот этот seoquick.com.ua/keyword-grouping/ не сочтите за рекламу:) Было бы интересно услышать ваше мнение о нем. Мне очень даже зашел, из-за скорости работы. Как говорит автор - 100 000 запросов за несколько минут. Я с такими цифрами правда не работал, обычно это до 30 000 точно, но работает очень быстро и в правду. Ну и бесплатно, думаю, это был еще один решающий фактор для меня
      Исследование: влияние smart-ссылок на продвижение по СЧ-запросам
      Анатолий Шевчик
      1
      комментарий
      0
      читателей
      Полный профиль
      Анатолий Шевчик - +1097988
      Не очень удачный кейс продвижения сайта по услуге «Трезвый водитель» в Москве
      Александр Селенков
      1
      комментарий
      0
      читателей
      Полный профиль
      Александр Селенков - Работа проделана огромная. Интересный кейс, все детально и понятно изложено.
      SEO глазами клиентов 2018
      Evgenius Evgenius
      1
      комментарий
      0
      читателей
      Полный профиль
      Evgenius Evgenius - Хороший рейтинг. Постоянно совершенствуется. Предлагаю делить компании ещё и по городам. Хотя бы по основным. Тогда может получиться, что одна компания первая в Спб, вторая в Мск. Третья вторая в обоих городах. А четвёртая на 10 месте в целом по всему рейтингу. Так бы было интереснее для всех.
      Два идеальных способа разориться на старте интернет-магазина
      Стас
      4
      комментария
      0
      читателей
      Полный профиль
      Стас - Seonews в последнее время такую чушь несет! Где вы таких афторов находите? Статья ничего не стоит и несет чушь! Кто хоть немного понимает в этом так вам и скажет, и такие де комментаторы горе-сеошники, просто смешно читать, вы хоть модерируете ваши статьи или просто для воды на сайте?! Бред сивой кобылы эта статья до самой последней точки!!!
      Яндекс перестал индексировать сайты, созданные на Wix
      Константин Даткунас
      3
      комментария
      0
      читателей
      Полный профиль
      Константин Даткунас - Было бы интересно посмотреть саму выборку из 10 000 и методику анализа.
      4 способа быстро собрать теги для сайта
      Рустем Низамутинов
      5
      комментариев
      0
      читателей
      Полный профиль
      Рустем Низамутинов - Расписал и закинул в Google Docs, а то здесь в комментариях ссылки на активны. docs.google.com/document/d/1r0TZLNrQyYLdIzDQsD5YKlMG41HUGQgEep3bxE_ij-M/edit?usp=sharing
      Яндекс: как мы модерируем объявления
      Гость
      5
      комментариев
      0
      читателей
      Полный профиль
      Гость - Это ж Яндекс, чего вы ожидали-то? Коммерческая структура с раздутым штатом, задачей которой является заработать больше денег. Любыми методами. Задача всех пользователей посадить на Директ, даже если придется разрушить суть рунета, реализуется по полной программе. Все возражающие караются и выпиливаются. И каждый из сотрудников делает все возможное и невозможное, чтобы реализовать любую дурацкую идею - за это еще и премию выхватить можно. Даже если потом придется выполнять "откат", премиальные уже заплачены. Так было с одним из фильтров Яндекса, так было с купленным им сайтом Кинопоиска, который из русскоязычной энциклопедии кино был превращен за безумные деньги в банальный платный онлайн-кинотеатр.
      Как мы разработали и вывели в ТОП сайт курсов рисования
      Иван Стороженко
      25
      комментариев
      0
      читателей
      Полный профиль
      Иван Стороженко - Добрый день. 1)Чаще всего основная проблема заключается, в согласовании с клиентом добавляемого контента и то как он будет отображаться. На данном сайте фото и услуги конечно предоставлял клиент, все остальное уже делали мы. 2)Да в принципе, когда есть команда и понимание, что нужно делать, все идет быстро (опять же основная заминка идет на согласовании с клиентом) 3)Смысла делать новый в данном случает нет. В принципе доделывался полноценный сайт. 4)Когда клиент уже не предоставляет информацию, приходится искать у конкурентов (например с других стран или регионов). Но чаще всего клиент, хоть что-то "подкидывает".
      Эксперимент: как уникальность контента влияет на продвижение сайта
      Гоша
      4
      комментария
      0
      читателей
      Полный профиль
      Гоша - Ну да! Тырить легче, чем самому писать... Или хотя бы заказать. Ещё и хвастаемся. Поисковики - не дураки - найдется фильтр и на тех, что воруют чужой контент. Еще немного... еще чуть-чуть. Получается, если ты украл в магазине - ты вор, а если в интернете - ты предприниматель. Успеха!
      ТОП КОММЕНТАТОРОВ
      Комментариев
      910
      Комментариев
      834
      Комментариев
      554
      Комментариев
      540
      Комментариев
      483
      Комментариев
      373
      Комментариев
      329
      Комментариев
      262
      Комментариев
      235
      Комментариев
      171
      Комментариев
      156
      Комментариев
      137
      Комментариев
      121
      Комментариев
      97
      Комментариев
      97
      Комментариев
      95
      Комментариев
      86
      Комментариев
      80
      Комментариев
      67
      Комментариев
      60
      Комментариев
      59
      Комментариев
      57
      Комментариев
      55
      Комментариев
      54
      Комментариев
      53

      Отправьте отзыв!
      Отправьте отзыв!