Рекламные кампании для вашего бизнеса
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:

Исследование по индексации в Яндексе на примере крупного портала

Россия +7 (495) 960-65-87
Шрифт:
15 8617

В качестве объекта мини-исследования аналитиками компании «Пиксель Плюс» был взят большой портал в тематике грузоперевозки в регионе Москва с порядка 200 000 страниц в индексе поисковой системы Яндекс. В данном случае стояла задача по выявлению признаков документов, изменение которых будет повышать вероятность попадания документа в индекс поисковой системы Яндекс.

В качестве факторов были выбраны классические общедоступные характеристики документов, с которыми работает SEO-специалист; к ним были добавлены дополнительные параметры, характеризующие специфику страниц сайта.

Список анализируемых признаков

В качестве анализируемых документов были использованы страницы детальных карточек заказов (аналог карточек товаров интернет-магазина). Фактически это страницы, которые создают посетители ресурса, заходя на сайт и формируя заказ. После этого владельцы авто и грузовые компании могут оставлять заявки на выполнение данного заказа посредством формы на данной странице. Документ выглядит следующим образом:

заявка на выполнение заказа.png

заявка на выполнение заказа_2.png

Другие типы страниц в рамках исследования не анализировались. Ниже приведен полный список признаков документов, по которым проводилось исследование:

  • вес страницы по Page Weight;
  • количество просмотров документа;
  • длина мета-тега description;
  • длина URL вместе с доменным именем;
  • длина тега Title;
  • длина отрезка текста в верхней части страницы;
  • количество исходящих внутренних ссылок с документа;
  • длина h1;
  • количество предложений по заказу;
  • статус заказа (открыт, закрыт и так далее всего порядка 4 статусов);
  • количество входящих внутренних ссылок на документ;
  • уровень вложенности.

Ход исследования

Изначально была сформирована выборка из 132 643 объектов. Далее она была разбита на две части:

  • обучающая из порядка 120 000 объектов (класс 1 - порядка 112 000 объектов; класс 2 - порядка 7000 объектов);
  • а также тестовая выборка из порядка 13 000 документов (класс 1 - порядка 12 000 объектов, класс 2 - порядка 800 объектов).
Было проведено обучение решающего бинарного дерева, на основании данных по индексации детализаций на 120 000 объектах обучающей выборки.

Ниже приведен небольшой фрагмент, получившегося бинарного дерева:

бинарное дерево.png

Фактически, имея документ с заданным набором параметров (PR, УВ, количество входящих ссылок и так далее), двигаясь по дереву сверху вниз, мы сможем в итоге узнать попадет ли данный документ в индекс или нет.

По результатам построения дерева была посчитана важность тех или иных признаков (на фрагменте дерева этот параметр отмечен как «gini»). Чем больше значение, тем выше важность признака (сумма важности всех признаков равна 1). Важность признака рассчитывается как (нормализованное) полное вычитание/снижение критерия качества классификации, привнесенного этим признаком. То есть насколько будет плохо работать классификация, если убрать этот признак.

Проще говоря мы получили число, показывающее насколько сильно данный признак делит всю выбору на группы по размеру. Если его изменение никак не сказывается на классификации (разделении на равные или соизмеримые группы), то важность признака -> 0.

Далее в качестве в качестве определения качества классификации рассчитали средневзвешенное точности и полноты (F-мера), поскольку выборка у нас получилась несбалансированная, то есть страниц не в индексе (класс 0) значительно меньше страниц в индексе (класс 1). Итоговое значение у нас получилось F=0.86679091231806893 (максимум 1). То есть это означает, что классификатор обладает довольно высокими показателями точности и полноты.

Результаты исследования

Ниже приведен список факторов (признаков) и их вес (суммарный вес =1):

Фактор

Важность

Вес страницы по Page Weight

0,258944780

Количество просмотров документа

0,098728380

Количество входящих внутренних ссылок

0,095431340

Статус заказа

0,088486150

Длина мета-тега description

0,087211400

Длина тега Title

0,085745060

Количество исходящих внутренних ссылок

0,084090760

Длина URL вместе с доменным именем

0,059767520

Количество предложений по заказу

0,046784050

Длина h1

0,045314620

Длина отрезка текста в верхней части страницы

0,033501420

Уровень вложенности

0,015994510

Чем больше значение признаков с максимальными значениями параметра «Важность», тем больше вероятность попадания документа в индекс поисковой системы. То есть каждый из заданных признаков отыгрывает в положительную сторону.

Таким образом, минимальное значение параметра «Важность» у ряда факторов, может говорить о том, что с уменьшением значения таких признаков вероятность попадания документов в индекс поисковой системы Яндекс будет также увеличиваться. В частности, это касается уровня вложенности: минимальное значение параметра «Важность» может говорить о том, что чем меньше значение фактора, тем выше вероятность попадания документа в индекс.

Выводы по результатам исследования

Многие данные, полученные в ходе исследования, оказались вполне ожидаемыми, но также выявился ряд закономерностей, которые оказался довольно интересным.

  • C многократным перевесом первым по списку идет PR.
  • Также в группе лидеров идут входящие ссылки и количество просмотров. Со ссылками все ожидаемо, а что касается просмотров, то тут возможно несколько вариантов. Возможно, что страницы попадали в индекс и потому число просмотров у них значительно больше, а возможен и вариант, что попадание в индекс – следствие пользовательской активности на нем.
  • Отдельно любопытно, что в лидирующую группу попал фактор «статус заказа». Тут вполне может быть логика, что статус заказа - как косвенный показатель активности пользователей на документе. Статус заказа=4 - значит, что заказ закрыт, то есть на документе было уже очень много людей, ставок, заходов и к этому моменту Яндекс успевал добавить документ в индекс. Учитывая, что статус заказа и количество просмотров оказались среди наиболее важных признаков, то с большей уверенностью можно говорить о том, что активное поведение пользователей на страницах приводит к попаданию документов в индекс.
  • Следующей группой идет длина Title и description. Здесь может играть фактор, что если основные зоны документы содержат какой-то контент и он не маленький, то вероятно такой документ при попадании в поисковый индекс сможет показываться в результатах поиска по каким-либо запросам. Нет смысла держать в индексе документы с маленьким/пустым Title - все-равно при попадании в индекс они не будут показываться не по каким запросам.
  • С исходящими ссылками получилось интересно. Это как бы намек, что учитывается хабовость документа, то есть много исходящих ссылок - значит документ может быть полезен и перенаправить пользователя на множество других документов. Разве что тут можно сделать предположение, что важно не только много исходящих ссылок, а то, чтобы они шли на документы с высоким PR (то есть на авторитетные страницы). Такой намек на алгоритм Hits, только граф в рамках сайта, а не интернета.
  • Ну и никак не отыграли параметры: длина URl, предложений по заказу, длина h1, длина отрезка текста в верхней части страницы. В целом можно предположить, что если всю текстовую составляющую объединить в один фактор (длина Title, h1, текст), то он тоже сможет закрепиться в середине таблицы.
  • Отдельно стоит сказать про наличие УВ последним в списке. Наличие этого фактора на последнем месте может говорить о том, что большой УВ является отрицательным параметром. То есть чем меньше УВ, тем больше вероятность попадания документа в индекс Яндекса.

Практические выводы

На основании проведенного мини исследования специалистами компании «Пиксель Плюс» был составлен список факторов, акцент при работе с которыми выглядит перспективным для увеличения числа страниц в индексе поисковой системы Яндекс. Таким образом, при наличии на сайте большого числа страниц не в индексе, требуется выполнить ряд базовых действий:

  • проставить на страницы не в индексе ссылки с самых PR-ых страниц в рамках сайта;
  • увеличить общее количество входящих на документ внутренних ссылок;
  • постараться, чтобы максимальное число страниц на сайте имели базовый уровень оптимизации (например, по шаблону): Title, h1, небольшой текст;
  • обеспечить минимальный УВ страниц;
  • добавить исходящие с документа ссылки на наиболее PR-ые страницы сайта;
  • добавить на документы больше интерактивных элементов, с которыми пользователи могли бы взаимодействовать, тем самым увеличивая время нахождения на документе, а также увеличивая количество активных действий (клики, скроллинг);
  • поставить на документы ссылки с самых трафикогенерирующих страниц входа, для обеспечения внутренних переходов на документы в рамках сессии.

Как можно видеть, каждый фактор по отдельности вносит небольшой вклад в итоговое значение вероятности попадания документа в индекс. Параллельная работа с каждым из указанных факторов позволит значительно увеличить вероятность попадания документа в индекс поисковой системы.

internet-dlya-biznesa
Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
Отправить отзыв
  • Иван
    6 месяцев назад
    Мда... Полный бред. Если я правильно понимаю, что за сайт - vezetvsem.ru то исследование ни о чём. Проблема непопадания в индекс карточек заказов кроется в отсутствие структуры у проекта. А по данному исследованию - вы можете посчитать корреляцию любого объекта на странице и получите результат.
    -
    0
    +
    Ответить
    Поделиться
    • Гость
      Иван
      6 месяцев назад
      Как вы делали анализ Без статистики захода роботом на страницу?
      Да и почему нет метрики захода пользователей с Я.Браузера?
      Целесообразней было бы учитывать эти метрики. У меня страницы в индекс на миллионном проекте попадают после посещения пользователя с я браузером... А вы тут про статус заказа какой-то...
      -
      1
      +
      Ответить
      Поделиться
      • Sergey Yurkov
        6
        комментариев
        0
        читателей
        Sergey Yurkov
        Гость
        6 месяцев назад
        1) В данном случае брались документы, которые были добавлены на сайт длительное время на сайт, то есть с большей долей вероятности на каждом из них робот успевал побывать.
        2) В данном случае можно придумывать много факторов и признаков, которые стоит добавить в классификатор. Обошлись в данном случае общим фактором «Количество просмотров документов».
        -
        0
        +
        Ответить
        Поделиться
        • Гость
          Sergey Yurkov
          6 месяцев назад
          1) Ключевое слово - с большой долей вероятности. Метрика "захода робота на страницу" - это дельта функция, а не вероятностная величина. К тому же у вас на портале динамические страницы заказов. А это значит, что если робот посетил только что созданную заявку и уже сформированную страницу (законченный заказ), на котором добавилось куча уникального контента - 2 большие разницы.
          2) ну так надо было основные факторы добавления страниц в индекс брать...
          -
          -1
          +
          Ответить
          Поделиться
  • Гость
    6 месяцев назад
    Статью не читал, сразу перешел к последнему блоку, практическим выводам. Ничего нового не нашел, такой вопрос возник: если нет ничего нового, в чем полезность исследования?

    -
    0
    +
    Ответить
    Поделиться
    • Sergey Yurkov
      6
      комментариев
      0
      читателей
      Sergey Yurkov
      Гость
      6 месяцев назад
      Мы упомянули, что многие результаты были ожидаемыми, ожидаемыми для наших специалистов-). Как показывает практика, часто данные рекомендации выполняются не на должном уровне.
      -
      1
      +
      Ответить
      Поделиться
  • Dmitry Zakharchenko
    1
    комментарий
    0
    читателей
    Dmitry Zakharchenko
    6 месяцев назад
    Вы получили точность 100% и это никого не смутило?
    Судя по всей выборке в 132к и обучающей 132к, естественно будет все правильно размечено.
    Где тестовая выборка-то?

    Про УВ бред. Увеличение значения или уменьшение роли не играет. Как и знак.

    Я уже молчу про высосанные из пальца факторы. Смотрели хотя бы возраст страницы и кол-во заходов робота.
    -
    0
    +
    Ответить
    Поделиться
    • Sergey Yurkov
      6
      комментариев
      0
      читателей
      Sergey Yurkov
      Dmitry Zakharchenko
      6 месяцев назад
      Корректность работы классификатора проверялось методом кросс-валидации. То есть мы брали выборку и делили ее на на несколько блоков. После чего один из блоков выступал в качестве тестовой выборки, а все остальные блоки в качестве обучающей выборки. Так мы проходились по всем блокам (то есть каждый блок в итоге побывал в роли тестовой выборки), получив в итоге несколько значений качества из каждой такой итерации. Далее усреднили значение.
      -
      0
      +
      Ответить
      Поделиться
      • Алексей
        1
        комментарий
        0
        читателей
        Алексей
        Sergey Yurkov
        6 месяцев назад
        На кросс-валидации вы настроили параметры модели, а как же ошибка на отдельной тестовой выборке? Точность классификатора 100% - фантастика. Дерево получилось супер переобученным.
        -
        0
        +
        Ответить
        Поделиться
        • Sergey Yurkov
          6
          комментариев
          0
          читателей
          Sergey Yurkov
          Алексей
          6 месяцев назад
          1) Мы не настраивали параметры модели на кросс-валидации, мы с помощью кросс-валидации оценили количество верных ответов, которые дал алгоритм по заранее размеченным данным.
          2) Перепровели, есть ошибка. Точность классификатора на каждом из 5 блоков при проверке методом кросс-валидации: [ 0.9372008   0.93444909  0.93392137  0.93712304  0.93459741]. В итоге значение качества классификации алгоритма получилось 0.935458341592

          Спас...
          1) Мы не настраивали параметры модели на кросс-валидации, мы с помощью кросс-валидации оценили количество верных ответов, которые дал алгоритм по заранее размеченным данным.
          2) Перепровели, есть ошибка. Точность классификатора на каждом из 5 блоков при проверке методом кросс-валидации: [ 0.9372008   0.93444909  0.93392137  0.93712304  0.93459741]. В итоге значение качества классификации алгоритма получилось 0.935458341592

          Спасибо за поправку.
          -
          0
          +
          Ответить
          Поделиться
  • Igor Bakalov
    31
    комментарий
    0
    читателей
    Igor Bakalov
    6 месяцев назад
    Серег, деревья решений при помощи какого софта строили?
    -
    1
    +
    Ответить
    Поделиться
    • Sergey Yurkov
      6
      комментариев
      0
      читателей
      Sergey Yurkov
      Igor Bakalov
      6 месяцев назад
      Игорь, деревья решений строили на Python.
      -
      2
      +
      Ответить
      Поделиться
      • Igor Bakalov
        31
        комментарий
        0
        читателей
        Igor Bakalov
        Sergey Yurkov
        6 месяцев назад
        Давай следующую статье для seonews о построении деревьев "на практике, с примерам" ;)
        -
        1
        +
        Ответить
        Поделиться
  • Лев Слепенков
    1
    комментарий
    0
    читателей
    Лев Слепенков
    6 месяцев назад
    Я правильно понял, эти данные получены на вашей внутренней модели, эксперименты с реальным поиском могут отличаться?
    -
    1
    +
    Ответить
    Поделиться
    • Sergey Yurkov
      6
      комментариев
      0
      читателей
      Sergey Yurkov
      Лев Слепенков
      6 месяцев назад
      Лев, классификатор был построен на основании данных по индексации в поисковой системе Яндекс, то есть анализировался результат работы основного индексирующего робота Яндекса. Что касается прочих экспериментов, то многое зависит от обучающей выборки и точный ответ на Ваш вопрос можно было бы дать, продолжив исследование, взяв для анализа дополнительный пул данных. В данном случае исследование подтвердило методы, которые используют SEO-специалисты нашей компании, при решении проблем с индексаци...
      Лев, классификатор был построен на основании данных по индексации в поисковой системе Яндекс, то есть анализировался результат работы основного индексирующего робота Яндекса. Что касается прочих экспериментов, то многое зависит от обучающей выборки и точный ответ на Ваш вопрос можно было бы дать, продолжив исследование, взяв для анализа дополнительный пул данных. В данном случае исследование подтвердило методы, которые используют SEO-специалисты нашей компании, при решении проблем с индексацией страниц на проектах.
      -
      0
      +
      Ответить
      Поделиться
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
23 действительно эффективных совета по продвижению интернет-магазина
Гость - Троль Гуру паНгинации - Что такое паНгинация?))))
Конкурс: угадайте пятерку лидеров рейтинга «SEO глазами клиентов 2016»
Марина
1
комментарий
0
читателей
Полный профиль
Марина - Ingate i-Media SEO.RU Netpeak 1PS.RU
Анализ ссылок: сравнение многофункциональных платформ по размеру их баз
Михаил - Хватит пениться на каждый аргументированный отзыв. Это не придает вашей компании чести.
Как создать интернет-магазин: сколько стоит открытие?
Гость - да у битрикса что ни обновление - то сплошные баги. недавно знакомый обновился на лицензии интернет-магазина, про***лись заказы за последнюю неделю, слетели все связи по складам. одним словом, жопа. при этом обновился на сразу, а спустя месяц после выкатывания, надеялся, успеют все поправить
Как упростить продвижение вечными ссылками?
Coursh - Зарегестрировался. Накинули 1100 рубликов за пополнение на 10к. Очень неплохо!
Вопрос недели: почему сайт хорошо ранжируется в Google и не интересует Яндекс?
Nina S.Dzh. - У вас достаточно конкурентная тематика для рунета и по главной странице домена расположена англоязычная версия. Полагаю, в этих двух фактах вся проблема. Поскольку Яндекс в данном случае считает английскую версию сайта приоритетной, а среди ваших конкурентов в выдаче достаточно много хороших русскоязычных сайтов, то он и не ранжирует ваш сайт высоко. Грубо говоря, ему есть что предложить пользователю и без вашего сайта. На мой взгляд, в данном случае версии нужно разводить по разным доменам, русскую вешать на RU и продвигать там.
Кому и зачем нужен маркетплейс от Яндекса
Дарья Калинская
0
комментариев
0
читателей
Полный профиль
Дарья Калинская - Максим, спасибо, рада, что статья оказалась полезной )
ТОП-10 автоматизированных сервисов контекстной рекламы
Жанна Рожкова
154
комментария
0
читателей
Полный профиль
Жанна Рожкова - Научитесь отличать рекламу от PR-активности. Если следовать вашей логике, на этом сайте (и на всех остальных информационных ресурсах в принципе) кроме рекламы ничего и нет. Так что насчет статьи от понимающего эксперта? Будем рады, если подготовите
Конкурс: угадай победителя рейтинга «Известность бренда SEO-компаний»
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Оптимизм Дэмис Кокос Ашманов и Партнеры Раш эдженси
Экспериментальное SEO: «Дырявые носочки панды»
Adrian - Испания и Португалия находятся в Европе и участвовали в чемпионате Европы. Одна из этих стран даже стала победителем. А Южная и Центральная Америка здесь при том, что там разговаривают на испанском и португальском языках. Сына, учите географию.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
285
Комментариев
262
Комментариев
200
Комментариев
171
Комментариев
154
Комментариев
137
Комментариев
123
Комментариев
97
Комментариев
97
Комментариев
93
Комментариев
80
Комментариев
70
Комментариев
67
Комментариев
60
Комментариев
55
Комментариев
52
Комментариев
49
Комментариев
45
Комментариев
44

Отправьте отзыв!
Отправьте отзыв!