×
Россия +7 (495) 139-20-33

Как поисковик может определить релевантность по связанным запросам

Россия +7 (495) 139-20-33
Шрифт:
0 5422

Знаете ли вы, что поисковики могут пытаться убедиться в релевантности собственной выдачи? Как именно они это делают можно узнать из недавно одобренного патента Yahoo.

Прежде, чем перейти к описанию автоматической проверки релевантности и вариативности (распределения результатов по значениям в случае многозначного запроса), в патенте описываются недостатки ручной проверки и определения релевантности на основе данных о переходах.

Ручная проверка релевантности

Одним из вариантов проверки релевантности результатов поиска является проверка человеком результатов по каждому запросу. Это занимает довольно много времени, существует вероятность человеческой ошибки, а покрыть проверкой все запросы, встречающиеся в сети просто невозможно.

Даже сейчас можно найти объявления о вакансиях «Internet Judges». В частности, такие объявления размещала компания LionbridgeTechnologies, с которой ранее сотрудничали Google. Да, поисковые машины используют ручную проверку и систему «интернет судей». Людьми являются и футбольные судьи. Они никогда не ошибаются, правда?

Отслеживание переходов

В одном из патентов Yahoo описывается система ранжирования изображений, основанная на кликах по ним пользователей. Предполагается, что по релевантным запросу изображениям пользователь кликнет и перейдет на интересующую его страницу. Следовательно, в выдаче по запросу картинки, по которым чаще кликали, поднимались, а те, которые «незаслуженно» занимали высокие места, постепенно опускались вниз.

Что ж, с картинками, где существует предварительный просмотр, эта система вполне может работать эффективно. А что насчет текстовых страниц? Проблема в том, что люди видят в выдаче лишь заголовок страницы, краткую аннотацию и адрес страницы. Эти данные не обязательно адекватно представляют содержание страницы. Следовательно, даже переход по ссылке не гарантирует релевантность страницы в выдаче.

Алгоритм для определения релевантности и вариативности поисковых результатов

Процесс, запатентованный Yahoo, использует информацию недавних поисков для определения сочетаемости результатов поиска с текущим запросом.

Автоматическая проверка релевантности и вариативности для веб и вертикальных поисковых машин

Изобретено Jignashu G. Parikh

Принадлежит Yahoo

US Patent 7,558,787

Одобрено 7 июля, 2009

Подано на рассмотрение 5 июля, 2006

Аннотация

Представлена техника автоматической проверки релевантности и вариативности поисковых результатов.

Поисковой машине направляется запрос, на основании которого при помощи поискового алгоритма машина выдает поисковые результаты. Определяется набор топовых и связанных терминов для запроса. Для каждого связанного термина определяется его частота относительно остальных терминов в наборе. Если термин не встречается ни в одном из результатов, то случилась потеря в вариативности пропорциональная относительной частоте связанного термина.

Иначе, релевантность поисковых результатов вычисляется сравнением пропорции результатов, содержащих термин, с относительной частотой термина. Этот процесс повторяется для всех терминов в наборе или связанных терминов для того, чтобы получить полную картину релевантности и вариативности результатов.

После того, как пользователь нажимает кнопку поиска, поисковая машина выдает набор результатов, ранжированных согласно поисковому алгоритму. Алгоритм, используемый для ранжирования этих результатов, обычно включает в себя элементы измеряющие релевантность и важность страниц соответствующих искомому запросу.

Этот патент описывает интерфейс тестирования, который поисковые алгоритмы и разработчики поисковых машин смогут использовать для проверки вариативности и релевантности поисковых результатов.

Использование связанных терминов

Этот процесс определения релевантности и вариативности поисковых результатов начинается с определения терминов, которые могут быть связаны с искомым запросом.

Кто-то ищет «Amazon», поисковая машина получает результаты, связанные с запросом, и отображает их пользователю.

Появившиеся результаты могут относиться к магазину «Amazon.com» или к реке Амазонке. Автоматически точно определить требуется ли пользователю информация о первом, втором или чем-то третьем невозможно. Но поисковая машина может обратиться к логам запросов и сессий и другим наборам данных для определения различных значений запроса.

Именно эти суб-концепции вы можете увидеть в поисковом предположении поисковой машины. О том, как они формируются, мы уже писали ранее.

Также поисковые машины отслеживают время поиска запросов, что может быть полезным при поиске информации, зависящей от времени.

Так что если на Амазонке два месяца назад случилось землетрясение, то логи запросов того времени могут содержать много запросов «Amazon earthquake». Через месяц количество поисков по этому запросу будет гораздо меньше и «amazon earthquake» может уже не считаться связанным запросом, каковым он, несомненно, считался сразу после описанных событий.

Поиск в логах недавних запросов покажет, как много раз вводились запросы, влючавшие в себя или вводившиеся вместе с «Amazon». Так что если запросы «amazon books», «amazon river» и «amazon rainforest» часто встречались в исследуемых логах, то они будут отображены как связанные. Также поисковые машины могут проверять в логах, какие запросы вводились за одну сессию с запросом «Amazon».

Относительная частота терминов и проверка релевантности

Как только поисковая машина определила набор связанных терминов для запроса, она может вычислить относительную частоту каждого из этих терминов относительно оригинального запроса в логах поиска. Вот пример того, как может проходить такой подсчет. Выдержка из патента:

Например, обращаясь к таблице 216, F.sub.term термина «books» равняется 25. Это означает, что «books» встречается вместе с «Amazon» 25 раз в выбранной части лога запросов 210, показанного в таблице 212. Далее, F.sub.total равно 50, соответствуя общему числу совместных появлений для всех терминов в наборе таблицы 216.

Следовательно, можно сделать вывод, что F.sub.relative для термина «books» является 25/50 или 50%. Далее в таблице 216 содержатся относительные частоты всех терминов в наборе связанных терминов. Конкретнее, частота «rainforest» равна 12/50 или 24%, «river» 8/50 или 16%, и «fish» 5/50 или 10%.

Относительная частота терминов для каждого связанного термина в наборе также используется для определения вариативности. Эти соотношения могут быть использованы для оценки результатов поиска.

Если вы смотрите на топ-10 страницы выдачи (или контент найденных страниц) по запросу «amazon», то содержит ли половина результатов слово «books»? Содержит ли четверть из них слово «rainforest»? Упоминается ли слово «river» в двух из них? И есть ли хоть одно с упоминанием слова «fish»?

Если соотношения между логами запросов и результатами поиска почти совпадают, то это может служить признаком высокой релевантности выдачи. Также это свидетельствует о правильной вариативности.

В патенте также содержится предупреждение о том, что некоторые результаты поиска могут быть в высшей степени релевантны, но при этом страдать от недостатка вариативности в случае, если запрос не содержит множества значений, и связанные термины не относятся к различным темам.


Переводной материал, источник


(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Ане Макаровой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Что скрывает «Прогноз бюджета Яндекс.Директ»?
Михаил Мухин
14
комментариев
0
читателей
Полный профиль
Михаил Мухин - Здравствуйте! 1-2. Считает стенд. Ссылка на него дана, но могу повторить: online.p-c-l.ru/competition/task/card/id/106. Нажмите на кнопку "Начать" и заранее приготовьте прогноз бюджета Яндекс. Суть расчета: перебор комбинаций всех ставок на всех фразах, построение бюджетных когорт - бюджетов с одинаковым СРС, отбор в каждой когорте бюджета с максимальным количеством кликов и ..., да упорядочивание этих бюджетов по мере возрастания СРС, причем берем не все, а с фиксированным шагом. 3. Гугл считается через поправочные коэффициенты. Мы перевариваем океан данных и представляем их. На удивление, получается не менее, хотя и не более точно, как и прогноз Яндекс. Конечно, нужно понимать, что это очень примерные прикидки, фактически перевод неточного прогноза Яндекс в удобочитаемую форму, не больше. Самое интересное начинается, когда применяешь метод бюджетных когорт к измерению показателей фраз на реальной рекламной кампании в режиме 48х7. Первые результаты очень хорошие. Если хотите присоединиться к бесплатному тестированию, напишите Эльвире r-support@r-broker.ru. В теме укажите "хочу присоединиться к тестам Умного управления рекламой"
Ссылочное продвижение локальных сайтов: ТОП худших SEO-методов
demimurych
5
комментариев
0
читателей
Полный профиль
demimurych - о господи. это для регионального сайта? в яндексе? где у сайта по региону конкурентов меньше чем выдачи на двух страницах из которых перваш это реклама москвы? потешно ей богу. ктото чего то не понеимает.
«Аудит, чтобы ты заплакала…», или Что делать, когда получил сторонний аудит сайта
Евгений
1
комментарий
0
читателей
Полный профиль
Евгений - Воообще, на самом деле здесь двоякое впечатление от таких аудитов. Конечно, для полного глубокого анализа и подготовки рекомендаций по сайту - нужны доступы к системам аналитики и инструментам вебмастера. Но если оценивать подобные аудиты с точки зрения чистого SEO (которое все больше и больше становится лишь малой частью digital-маркетинга, лишь одним из каналов) - они имеют место быть. Но с оговоркой, что они сделаны с учетом анализа конкурентов/отрасли. Современные инструменты и алгоритмы позволяют делать это маркетологам в автоматическом режиме, и даже давать рекомендации - возможностями машинного обучения уже никого не удивишь. Да, полное перечисление "мифического" списка ошибок, построенного по предикативным правилам, да еще и с учетом устаревших особенностей ПС - это явный признак некачественного аудита. В первую очередь потому, что эти "ошибки" следует рассматривать в качестве рекомендаций от ПС (как и говорится в справочнике вебмастера у Яндекса/Google). Однако если эти данные даются с отсылкой на данные о конкурентах, об отрасли, используются методы ML и Natural language processing для обработки исходных данных, кластеризации запросов, классификации страниц/запросов/сайтов, определения структуры документа - такие отчеты имеют право на существование. Но ключевым моментом является то, что подобные инструменты достаточно сложны в разработке, а значит требуют квалифицированных специалистов для их разработки. Которых просто нет у студий рассылающих подобные "сео отчеты". Подобные отчеты по "ошибках" тоже неплохой источник информации, но лишь на 0 этапе анализа сайта. И в принципе, теоретически, возможно почти полное составление "хороших аудитов" без участия маркетолога, на основе лишь открытых данных сайта/внешних источников, но только при соответствующем применении всех современных возможностей анализа данных и рекомендательных систем. И в любом случае подобный "хороший отчет" требует конечного заключения от эксперта.
От мечты стать юристом к собственному SMM-агентству. Как найти себя в современном цифровом мире
Виктор Брухис
5
комментариев
0
читателей
Полный профиль
Виктор Брухис - Статья выглядит так, как пожелали редакторы и интервьюер) Вопросы к интервью подбирал не я)) Хотя, в целом я согласен с вашим видением. А за пожелание удачи большое спасибо!
Как вывести сайт в ТОП 10 Google в 2019 году
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Интересная статья. Подскажите на каких ресурсах расположить ссылки бесплатно по автобезопасности? Наш сайт bastion-center.ru/
Зачем подменять контент на сайте: разбираем инструмент и развенчиваем мифы
Дмитрий Сульман
4
комментария
0
читателей
Полный профиль
Дмитрий Сульман - Все верно, об этом я и говорю. У крупных компаний есть много данных и они имеют доступ к дорогим технологиям и решениям для персонализации контента. Топовые западные сервисы для персонализации, такие как RichRelevance или Dynamic Yield, стоят от нескольких тысяч до десятков тысяч долларов в месяц. Понятно, что малый бизнес не может себе этого позволить. Да даже если бы чисто теоретически и мог, то это вряд ли бы имело хоть какой-то смысл. Во-первых, у малого бизнеса недостаточно данных, чтобы подобные алгоритмы персонализации начали эффективно работать, а во-вторых, тот профит, который МСБ получит от персонализации, никогда не покроет таких расходов. Мы же предлагаем решение, доступное как раз для малого и среднего бизнеса. При этом наше решение комплексное: МультиЧат - это одновременно и инструмент для персонализации, и для коммуникации.
Как провести анализ содержания страниц товаров и категорий
Никита Седнин
3
комментария
0
читателей
Полный профиль
Никита Седнин - Спасибо!
BDD 2019: Как перестать убивать время на сбор и обработку тонны данных для SEO-аудита
Kosta Bankovski
4
комментария
0
читателей
Полный профиль
Kosta Bankovski - Спасибо за приятные слова! Буду и дальше делиться наработками ;)
10 элементов сайта, которые гарантированно отпугнут посетителей
Андрей
2
комментария
0
читателей
Полный профиль
Андрей - Ну типа потому что клиентское seo больше для коммерции предназначено. Типа контентники и сами знают что делать. В коммерции можно тысячу причин найти чтобы поработать с сайтом, а с контентными такие фокусы уже не прокатят, поэтому и не пишут. Всё продвижение для контентников сеошники описывают в трех словах: скорость, качество, систематичность. А, ну ещё конечно же СЯ, как же я про него забыл (фундамент жеть!).
Как удвоить выручку за счет продвижения в поиске. Кейс coffee-butik.ru
Максим Боровой
2
комментария
0
читателей
Полный профиль
Максим Боровой - Последний вопрос (извиняюсь за количество) - почему на "В корзину" стоит Nofollow. Осознанно для распределение весов?
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
362
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
107
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
83
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!