Россия+7 (495) 960-65-87

Оценка исходящих ссылок для подсчета PR с учетом не проиндексированных

Россия+7 (495) 960-65-87
Шрифт:
1 3086

Введение

Отбор и упорядочивание результатов по запросам для трех миллиардов гипертекстовых документов, которые составляют веб-граф G(V,E), представляется работой крайне трудной, вместе с тем, очень важной. Анализу ссылочного ранжирования отводится главная роль в статье.

Постепенное разрастание и динамическая природа веб-графа вынуждают проводить анализ ссылочного ранжирования, основываясь на схемах ранжирования, подобных PageRank. При этом обязательно нужно учесть “потерянную” информацию, возникающую в связи с тем, что некоторые гипертекстовые документы не проиндексированы поисковыми системами.

В связи с этим возникает вопрос о точности рассчитанной величины PageRank: как можно оценить “потерянную” информацию и включить ее в расчет PageRank. Об этом будет сказано позже.

Итерационный расчет PageRank и недостаточные данные

Недостаток информации о ссылках со страниц, которые не были проиндексированы роботами поисковых систем, представляется в итерациях при расчете PR в качестве незаполненных строк матрицы переходов, чье стационарное распределение выражается через вектор PageRank. Под стационарным распределением понимается такое распределение вероятности, которое не меняется с течением времени.

Таким образом, необходимо либо удалить те вершины графа, которые учитываются при расчете, либо изменить предсказанное распределение (нормализованный вектор вершин графа). Далее будет показано, как недостаток информации может серьезно повлиять на точность расчета PageRank.

Но для начала дадим определение словосочетанию “точность PageRank”.

Определение №1: Дано подмножество Vk вершин графа G(V,E), реальные PR подмножества Vk – это PR, учтенные в подграфе G’(Vk,Ek) и смоделированные для вершин Vk, следовательно, G’ имеет ограничения xy∈E, x,y∈Vk

На любой стадии процесса подсчета PR все множество гипертекстовых документов V может быть разделено на подмножество проиндексированных страниц С и подмножество не проиндексированных страниц С’. Определим множество С следующим образом F={p:∃(q∈C)(q,p)∈E}. Впредь запись q→p будет использоваться для обозначения записи вида (q,p)∈E. Выделим также подмножество страниц, известных, но не проиндексированные роботами поисковых систем Fc'={F∩C'} . Ссылки с данных страниц и на эти страницы не будут учитываться при расчете PR. Также обозначим множество {C∪Fc'} уже известным Vk и введем следующее обозначение Nk=Vk.

Определение №2. “Достоверность”:Зададим неполной матрице переходов размерность N и распределение p(⋅) , чтобы получить ряды, не соответствующие заданным условиям (нормализованный вектор исходящих ссылок). Подсчет PR считается достоверным в том случае, если разница между рассчитанным и реальным PR составляет O.

Замечание №1: Для исходящих ссылок, с равномерным распределением p(⋅), расчет PR верен, если размерность подмножества неизвестных вершин веб-графа не превышает O(√Nk).

Предположим, что распределение исходящих ссылок равномерное, однако это утверждение, не является догмой. Предполагается, что выборка исходящих ссылок больше разрежена, нежели та, которая получена равномерной дискретизацией по всему множеству N. Более точное приближение может быть получено, если брать симплексы с меньшей размерностью. Под симплексом понимается геометрическая фигура, представляющая собой n-мерное обобщение треугольника.

Установим нашему симплексу размерность N. Однако, может оказаться так, что разница результатов, полученных при равномерном распределении и при выборе симплексов меньшей размерности, возрастет.

Данный момент необходимо учесть в качестве неизвестных переменных матрицы переходов. За более подробным объяснением данного аспекта нужно обратиться к источнику [2], где описывается работа исключительно с проиндексированными страницами.

Стационарное распределение может быть выявлено. Однако, окончательные PR могут быть подсчитаны только после того, как будут проделаны многочисленные расчеты. Также не стоит забывать, что только определенное количество итераций может быть использовано для расчета PR вершин из подмножества FC' .

Дальнейший анализ позволит нам определиться с PR для страниц, которые не проиндексированы.

Оценка количества “висящих” ссылок.

Рассматривается тот метод, когда будут заполняться неизвестные строки матрицы переходов переменными, не связанными с равномерным распределением. Можно предположить, что распределение значений переходов учитывает усредненное значение, чтобы под влиянием достаточно слабых ограничений перейти к стационарному распределению или к оценкам PR.

Замена неизвестных значений их ожиданиями является одним из самых известных допущений. Наиболее наглядным способом представления веб-графа является графический. График должен сыграть решающую роль в понимании основных моментов. Модель, в которой одни вершины связаны с другими вершинами пропорционально их PR вырабатывает фундаментальные законы, описанные в источнике [3].

Необходимо проводить итерационные вычисления многократно, где каждый следующий PR будет рассчитываться, заполняя при этом пустые строки матрицы. Таким образом, найдем вектор r, при замене которого как неизвестного ряда, мы вновь получим наши PR. Величину r можно будет рассчитать аналитическим путем, не прибегая к большому количеству расчетов на каждой итерации.

Замечание №2: Подсчет PR страниц из подмножества С, осуществляемый итерацией за итерацией, постепенно заполняя PR матрицу переходов, обеспечивает достоверность PR при условии, что входные данные в неизвестных строках будут иметь такое же распределение как и вектор r.

Кластеризованная оценка.

В данном случае нашей целью является оценка неопределенных рядов PR-ов матрицы T, то есть выявление условного распределения P(y2y1) и соответствующего стационарного распределение вектора новых PR-ов, вектора r. Для этого вводится динамическая модель.

Существует вероятность того, что страница , связанная со страницей , может быть выражена через множество переменных Z. Данная модель исчислена в случайных переменных Z путем введения таких ограничений, что конечные столбцы и строки имеют одинаковое распределение. Данные ограничения имеют также большую ценность в том, что совместное распределение дискретных случайных величин, может быть отражено с помощью цепей Маркова.

Таким образом, появляется возможность пусть более грубого подсчета PR, но с возможностью конечной оценки данного подсчета. Модель можно представить следующим образом:

Множество Y может быть смоделировано как фиксированное множество независимых параметров, несмотря на то, будет ли меняться множество Y или нет. Данный аспект позволяет использовать модель в качестве динамической. Однако здесь мы сталкиваемcя с очередной проблемой: как оценить P(y2)? Для этого нужно определиться с вероятностями переходов P(y2y1), которые в свою очередь требуют знания P(y2).

Введем следующие обозначения:

U[i,j]=P(Z(yi)=iyi

диагональная матрица R[i,j]=p(yi)=ri и r[i] = P(yi)

Используя равенство (1) и свойство стационарности получаем:

Составив для матриц A и U линейное уравнение Y=Nk, неизвестные могут быть найдены многочисленными итерациями с выбранной максимальной энтропией линейных ограничений.

Расстояние L1 между реальными и предсказанными строками матрицы переходов показано на рис.1 для некоторого подмножества веб-графа. Байесовский подход используется здесь для сравнения


Рис.1 Сравнение результатов предсказания веса исходящих оценка висящих ссылок, кластеризованная оценка, байесовский подход, равномерное распределение и распределение, соответствующее нулевой гипотезе.

Более полную информацию о расчете PR можно получить из следующих источников:

  1. http://www-dbv.cs.uni-bonn.de/abstracts/hofmann.TR-98-042.html;
  2. http://dbpubs.stanford.edu:8090/pub/1999-66;
  3. http://www.cs.brown.edu/research/pubs/pdfs/2005/Pandurangan-2005-UPC.pdf.

Sreangsu Acharyya, Joydeep Ghosh

Перевод под редакцией Сергея Стружкова
(Нет голосов)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Денис Щеглов
    7
    комментариев
    0
    читателей
    Денис Щеглов
    больше года назад
    Я страюсь в такие подробности не вдаваться, если доподлинно известно, что много жирных ссылок это хорошо, то их просто надо ставить. Подобные труды хороши для тех, кто создает поисковые системы, а не для сеошников.
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Сколько ссылок помогут продвинуть молодой сайт
Павел Андрейчук
41
комментарий
0
читателей
Полный профиль
Павел Андрейчук - Дело в том, что вряд ли в ваших платных "качественных" кейсах найдётся хоть пару % действительно новой и полезной информации которой бы не было на общедоступных источниках.
Google Data Studio: делаем красивые отчеты по контекстной рекламе для клиентов
Никита Кудрин
1
комментарий
0
читателей
Полный профиль
Никита Кудрин - Все понимаю, кроме того как сделать что бы наименования показателей и параметров не менялись на англоязычные при выборе источника.
Сайт на WordPress: за и против
Мира Смурков
1
комментарий
0
читателей
Полный профиль
Мира Смурков - Людмила, я согласен с большинством комментаторов. Вы хоть один полноценный магазин сделали на этих движках? Woocommerce это система с супер возможностями. И к ней есть дополнительные модули, с функционалом, который вряд ли появиться на Битрикс. А самому это программировать - сотни тысяч рублей на разработку. А приведя в пример сложности с robots.txt и Sitemap вы ставите под вопрос вашу компетенцию в понимании Интернет-бизнеса и веб-разработки в целом. Во-первых это такие мелочи, а во-вторых это все делается на вордпресса за 2 минуты, и опять же с возможностями многократно превышающими Битрикс.
Обзор популярных CMS: плюсы и минусы
Андрей Литвиненко
2
комментария
0
читателей
Полный профиль
Андрей Литвиненко - + там где нужно прописать каноникал, там где нужно поставить мета тег ноиндекс (т.к. Гугл не всегда следует правилам robots.txt) ну и то что выше, к техническим сео возможнлстям можно еще отнести легкое и хотя бы полуавтоматическое добавление микроразметки по сайту, увы "из коробки" такого функционала нет ни в одной cms, все на допиливаниях
Google обошел Яндекс по популярности в России в 2018 году: исследование SEO Auditor
Рамблер
1
комментарий
0
читателей
Полный профиль
Рамблер - Вот вроде отечественный - это сказано верно.. «Я́ндекс» — российская транснациональная компания, зарегистрированная в Нидерландах. Так говорится в Википедии. И с хрена ли ОТЕЧЕСТВЕННЫЙ поисковик зарегистрирован в Европе? И где платится основная часть налогов? Ну-ууу, точно не в России. И если запахнет жаренным, то был Яндекс и нет Яндекса!
8 методик в SEO, от которых давно пора отказаться
Евгений Сметанин
12
комментариев
0
читателей
Полный профиль
Евгений Сметанин - Факторов вообще очень много, согласитесь, вы будете использовать максимальное их количество, особенно, если в ТОПе засели агрегаторы с сумасшедшими ПФ. В таких случаях, вхождение ключа в домен для маленького профильного сайта, сыграет свою положительную роль. Конечно же, если контент на страницах хорошего качества. У меня есть несколько успешных кейсов на эту тему. На сайте продают несколько видов товаров, а выстреливает в ТОП тот, название которого присутствует в доменном имени. Как корабль назовешь, так он и поплывет, верно?))
Как выбрать подрядчика для продвижения сайта: 7 уровней воронки поиска
aashutosh
1
комментарий
0
читателей
Полный профиль
aashutosh - data science training institute in noida- Webtrackker Technology (8802820025) providing Data Science Training in Noida. Get ✓ 40 Hours Learning training✓ 70 Hrs Projects ✓ 24 X 7 Support ✓ Job Assistance. WEBTRACKKER TECHNOLOGY (P) LTD. C - 67, sector- 63, Noida, India. E-47 Sector 3, Noida, India. +91 - 8802820025 0120-433-0760 +91 - 8810252423 012 - 04204716 EMAIL:info@webtrackker.com webtrackker.com/Best-Data-Science-Training-Institute-in-Noida.php
Как построить качественный ссылочный профиль на основе конкурентов
Ирина
5
комментариев
0
читателей
Полный профиль
Ирина - Давно сотрудничаю с megaindex.com и считаю данный сервис одним из лучших в сео сегменте рунета да и не только рунета. Пользуюсь их инструментами для аналитики своих работ и выявлению своих и чужих ошибок. Да и ссылочный профиль, как и говорится в данной статье сделать гораздо проще и правильней при помощи как раз мегаиндекса. Добавлю еще что инструмент для поиска конкурентов у мегаиндекса очень удобный и простой в применении.
6 причин, почему нет позиций и трафика
Артур Латыпов
0
комментариев
0
читателей
Полный профиль
Артур Латыпов - Леонид, да 3 пункта повторяется, согласен. Но сильно актуальны и сейчас, смотрим на сайты, приходящие на SEO, которые ранее продвигались, практически на всех можно что из 6 пунктов найти, исправить и ситуация улучшиться оперативно.
Google назвал три главных SEO-фактора
Павел Андрейчук
41
комментарий
0
читателей
Полный профиль
Павел Андрейчук - Я бы не стал утверждать что это так. У меня есть ресурс где ссылок.. ну я не знаю, полтинник может быть, вручную проставленные года за 2 и позиции хорошие по могим запросам именно в гугле, в то время как в Яндексе позиции ниже. Хотя конечно с ссылками позиции были бы лучше, наверное, но владелец увы не выделяет бюджет на ссылки.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
346
Комментариев
262
Комментариев
247
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
104
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
63
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!