×
Россия +7 (495) 139-20-33

Теоретические и практические аспекты проведения экспериментов над поисковыми системами

Россия +7 (495) 139-20-33
Шрифт:
0 5586

1. Введение. Важность проведения экспериментов
2. Общая теория эксперимента
3. Особенности проведения экспериментов над поисковыми системами
4. Практические рекомендации при проведении экспериментов
5. Заключение
6. Список ресурсов для проведения эксперимента

1. Введение. Важность проведения экспериментов

Эксперименты над поисковыми системами – неотъемлемая часть процесса продвижения сайта. На самом деле, сложно заниматься оптимизацией сайтов, не зная принципов работы поисковика. Эксперимент – это один из самых эффективных способ изучить механизмы функционирования поисковых систем. Фактически это единственный способ получения новых знаний.
Мы построим мастер-класс по следующей схеме:

  1. Сначала рассмотрим классическую схему постановки эксперимента (однако не будем рассматривать методологию с научной точки зрения);
  2. Затем рассмотрим особенности проведения экспериментов над поисковыми системами;
  3. После опишем основные практические приемы планирования и проведения экспериментов;
  4. В конце приведем пример удачно спланированного и приведенного эксперимента.

2. Общая теория эксперимента

Итак, что же такое эксперимент?
Экспериментэто набор действий и наблюдений, выполняемых для проверки истинности или ложности гипотезы или исследования причинных связей между феноменами. Эксперимент является краеугольным камнем эмпирического подхода к знанию.
Эксперимент бывает активный и пассивный. Прежде чем объяснить, в чем же разница, нужно дать небольшой комментарий. Поисковую систему можно представить в виде модели «серого ящика», т.е. мы знаем вход модели (сайты с набором параметров), знаем выход (позиции сайтов) и примерно знаем внутренний механизм (знаем, что на сайты действует текстовая и ссылочная составляющие).
Так вот, активный эксперимент предполагает создание некой «очищенной ситуации». То есть мы специально подбираем определенный набор входных данных и примерно предполагаем, основываясь на своих знаниях, какой будет выход.
Пассивный эксперимент предполагает просто анализ практических результатов работы, т.е. входные данные специально не задаются. Примером пассивного эксперимента является анализ апдейта.
Основой эксперимента является гипотеза. Гипотеза строится как временное предположение, выдвигаемое для придания исследованию целеустремленного характера. Гипотеза может быть выдвинута в виде простого предположения, например, «я считаю, что вот это работает таким образом», но чаще всего она основана на каких-то фактах, знаниях, опыте. Например, «целый месяц мы делали вот таким образом, однако результата не было, поэтому мы считаем что…»
Если выдвигается ряд гипотез, различным образом объясняющих одни и те же факты, их принято называть версиями. Опровержение одной из версий создает условия для порождения новых, более обоснованных.
Таким образом, мы подходим к цели эксперимента. Она заключается в следующем – полученные в ходе проведения эксперимента факты должны подтвердить или опровергнуть выдвинутую гипотезу.
Исходя из этого, нужно со всей серьезностью отнестись к выдвижению гипотезы. Правильная гипотеза должна обладать следующими качествами:

  1. обоснованность (нельзя придумывать гипотезы «с потолка»);
  2. однозначность (формулировка гипотезы должна одинаково трактоваться всеми участниками эксперимента);
  3. возможность практической проверки (гипотеза может быть проверена, к этому нет препятствий в виде ограничений по ресурсам, знанию, времени и т.п.).
После формулирования гипотезы нужно проработать детальный план проведения эксперимента. Применительно к проведению экспериментов над поисковыми системами план может иметь следующий вид:
  1. Изучение проблемы (с привлечением различных источников);
  2. Формулировка гипотезы;
  3. Разработка плана;
  4. Подготовка исходных данных: создание экспериментальных сайтов, регистрация их в поисковой системе;
  5. Внесение изменений в экспериментальные сайты после их индексации поисковой системой;
  6. Формулирование выводов после переиндексации сайтов.
Немного остановимся на планировании. Лучше использовать схему, согласно которой:
  • сначала создается полностью идентичные сайты, т.е. сайты с одинаковой html-разметкой, количеством слов и т.д.;
  • сайты отдаются на индексацию;
  • после индексации фиксируются позиции и у сайтов меняют исследуемый параметр (например, исследуется влияние плотности ключевых слов, сначала создали одинаковые сайты, после первой индексации добавили на сайты различное количество ключевых слов, поменяв показатель плотности ключевых слов);
  • после переиндексации новые сравниваются с исходными позициями; если изменений не произошло, то значит, что исследуемый фактор не оказывает влияния на релевантность.
Если сразу создавать сайты с разными исходными параметры, то после индексации не всегда мы сможем с полной уверенностью сказать, что фактор подействовал, т.е. он учитывается в ранжировании.

3. Особенности проведения экспериментов над поисковыми системами

Проведение экспериментов над поисковиками имеет свою специфику. Прежде всего, она касается условий проведения экспериментов – поисковая система нестабильна, у нее могут случаться сбои, и все это нужно учитывать при планировании и проведении эксперимента.
Итак, особенности:

  1. Технические. Сбои в работе поисковой системы могут доставлять неудобства в ходе эксперимента. Некоторые сайты могут периодически выпадать из выдачи, у других сайтов могут быть проблемы с индексацией. Снизить это негативное влияние поможет бОльший размер выборки экспериментальных сайтов (чтобы в случае выпадения некоторых сайтов оставшихся было достаточно для формулирования выводов) и использование ссылок для улучшения индексации (здесь надо смотреть, чтобы ссылки не оказывали влияния на результат). Например, в эксперименте «Влияние ключевых слов в стиле H1, H2, H3» временное выпадение сайтов немного отодвинуло сроки окончания эксперимента.
  2. Специфические. Во-первых, поисковые системы периодически меняют некоторые элементы в своей работы:
      a. алгоритмы расчета релевантности,
      b. вспомогательные инструменты (например, несколько раз в год меняются принципы «переколдовки»).
    Такие глобальные изменения происходят нечасто и в большинстве случаев не влияют на ход эксперимента, т.к. или они вообще не касаются анализируемого в эксперименте параметра, либо изменения в равной степени воздействуют на все сайты. Однако даже такие нечастные изменения заставляют периодически проверять результаты старых экспериментов.
    Во-вторых, поисковой системе свойственна динамичность. Порой апдейты в выдаче происходят через день и это заставляет оперативно собирать результаты, т.к. в случае, если апдейт прошел, результаты прошлого апдейта становятся недоступными. А ведь бывают эксперименты, по которым нужны данные по всем апдейтам. Например, вы хотите точно знать, в течение скольких апдейтов действует «бонус новичка».
    В-третьих, существует такой неприятный момент, как дискретность выдачи. Т.е. на выходе мы имеет ранжированный ряд, по которому нельзя оценить степень превосходства одного сайта над другим. Мы можем оперировать лишь понятиями «лучше-хуже», но не можем сказать «во сколько». Как от этого избавиться? Можно попробовать воспользоваться - приемом И. Козлова aka Миныча. Может возникнуть такая ситуация, что релевантность группы экспериментальных сайтов оказывается одинаковой. Но Яндекс отранжировал сайты, они заняли каждый свою позицию, и мы думаем, что на самом деле «вот этот вот сайт релевантнее», начинаем искать «почему» и делаем массу других ненужных вещей. Что же нужно делать на самом деле? Ждать. Как показывает практика, сайты с одинаковой релевантностью периодически меняются позициями (где-то раз в два месяца). Например, посмотрите на результаты эксперимента «Проверка влияния тега »
  3. Искусственные. К такому виду особенностей мы отнесем, во-первых, различные фильтры, во-вторых, искусственное обрезание выдачи.
    К фильтрам можно отнести:
    • пессимизацию,
    • штрафы за накрутку (текстовый и ссылочный спам),
    • «непот-фильтр» (когда не учитывается вес ссылки с сайта).
    Чтобы не попадать под фильтры (конечно, если вы не проверяете намеренно их влияние), надо создавать такие экспериментальные сайты, параметры которых имеют адекватные значения, т.е. близкие к естественным. Например, вы проверяете оптимальную плотность ключевого слова в title. Сделайте сайты с title длиной 10-12 слов и используйте от 1 до 5 ключевых слов.
    Еще одна особенность, касающаяся только поисковой системы Яндекс, - неполная выдача. Т.е. после просмотра некоторой части выдачи, оставшаяся часть перестает отображаться. Это касается не только выдачи по простому запросу, но и выдачи обратных ссылок на сайт. Как снизить влияние этого фактора? Нужно подбирать такие ключевые слова, чтобы экспериментальные сайты занимали верхние позиции. Или, если эксперимент можно провести автономно, не делать отдельные сайты, а сделать один сайт со множеством внутренних страниц, т.к. внутренние страницы сайта ранжируется абсолютно также, как и отдельные сайты.

4. Практические рекомендации при проведении экспериментов

А теперь дадим несколько практических советов, которые помогут провести эксперимент.

  1. Конечно же, лучше всего использовать платный хостинг для экспериментальных сайтов – у них и лог-файлы есть, и Яндекс к ним лучше относится. Однако это часто экономически неоправданно. Приходится размещать сайты на бесплатном хостинге. Здесь лучше всего использовать провайдера land.ru – простая регистрация, предоставление ftp-доступа, бесперебойное функционирование сервера.
  2. При планировании эксперимента стоит подумать о рациональности. Нет смысла делать 100 сайтов для того, чтобы проверить влияние одного фактора.
    Например, проверяем влияние тегов форматирования, хотим узнать, какой тег оказывает большее влияние на релевантность. Проверку будем производить не по одному слову, а по нескольким словам, например, пяти. Таким образом, мы зададим пять запросов и получим пять выдач, используя один массив экспериментальных сайтов. Добавлять ключевые слова (или другие проверяемые факторы) можно до тех пор, пока дальнейшее усложнение не приведет к резкому увеличению трудозатрат на создание сайтов, т.к. простые сайты можно сгенерировать скриптом, а сложные придется делать вручную
  3. Апдейт поисковой системы происходит не одномоментно, а длится какое-то время. Поэтому один и тот же сайт в течение нескольких часов может занимать различные позиции. Окончательные результаты можно смотреть примерно через сутки после начала апдейта.
  4. При анализе позиций внимательно проверяете сайты. Проверяйте,
    • все ли сайты сделаны так, как планировалось? (т.к. часто экспериментальные сайты делаются вручную, возможны банальные ошибки, связанные с неряшливостью, неаккуратностью, забывчивостью, например, вставили не то количество ключевых слов на сайт, применили не тот тег форматирования и т.п.);
    • были ли проиндексированы внесенные изменения на всех сайтах? (Возможна такая ситуация - вы думаете, что изменения в позициях вызваны тем, что вы изменили содержимое своих сайтов, но на самом деле Яндекс еще не проиндексировал новые версии сайтов, а выдача изменилась по другой причине);
    • нет ли каких-либо посторонних ссылок на сайты?
  5. Когда проверяете влияние какого-либо фактора, в выборку для сравнения нужно включить несколько сайтов, где нет влияния проверяемого параметра. Например, проверяем влияние тегов форматирования - в анализ следует добавить пару сайтов, где не применяется форматирование ключевых слов. Этот прием был использован в эксперименте «Влияние ключевых слов в стиле H1, H2, H3»
  6. Целевая функция может иметь нелинейный вид, и результаты конкретного эксперимента могут не соответствовать тренду, а попадать на фрагменты резкого увеличения/уменьшения значения функции. Поэтому количество экспериментальных сайтов должно быть достаточно большим (лучше не менее 50-ти).

5. Заключение

Итак, что же можно сказать в завершении?
Во-первых, эксперименты всякие нужны, эксперименты всякие важны. Без экспериментальных исследований (будь то анализ отдельно взятого сайта или целая серия экспериментов, направленных на изучение ссылочного расследования) сложно продвигать сайты эффективно.
Во-вторых, прежде чем бросаться экспериментировать, нужно немного изучить теорию постановки эксперимента, чтобы в дальнейшем грамотно выдвигать гипотезы и планировать проведение эксперимента, учитывая особенности поисковых систем (которые выступают в качестве среды проведения эксперимента).
В-третьих, нужно набираться опыта, фиксировать в ходе проведения экспериментов все, даже самые незначительные, моменты, анализировать результаты с разных сторон и, конечно же, применять вновь приобретенные знания на практике.

6. Список ресурсов для проведения эксперимента

  1. Мастер-класс «Анализ апдейта».
  2. Мастер-класс «Классификация источников знаний и информации SEO-тематики» поможет собрать нужную информацию для формулирования гипотезы к эксперименту.
  3. Мастер-класс «Использование бесплатного хостинга при продвижении сайта: основные недостатки» поможет выбрать бесплатный хостинг для экспериментальных сайтов.
  4. Евгений Трофименко, «Постановка экспериментов над поисковыми системами».
  5. Обсуждение экспериментов по текстовой релевантности – «Релевантность контента страниц запросу для Яндекса Эксперимент по Минычу». Пример грамотного эксперимента.
  6. Язык запросов – изучение языка запросов предоставит большие возможности при постановке и анализе экспериментов.
(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Ане Макаровой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Что скрывает «Прогноз бюджета Яндекс.Директ»?
Михаил Мухин
15
комментариев
0
читателей
Полный профиль
Михаил Мухин - Здравствуйте! 1-2. Считает стенд. Ссылка на него дана, но могу повторить: online.p-c-l.ru/competition/task/card/id/106. Нажмите на кнопку "Начать" и заранее приготовьте прогноз бюджета Яндекс. Суть расчета: перебор комбинаций всех ставок на всех фразах, построение бюджетных когорт - бюджетов с одинаковым СРС, отбор в каждой когорте бюджета с максимальным количеством кликов и ..., да упорядочивание этих бюджетов по мере возрастания СРС, причем берем не все, а с фиксированным шагом. 3. Гугл считается через поправочные коэффициенты. Мы перевариваем океан данных и представляем их. На удивление, получается не менее, хотя и не более точно, как и прогноз Яндекс. Конечно, нужно понимать, что это очень примерные прикидки, фактически перевод неточного прогноза Яндекс в удобочитаемую форму, не больше. Самое интересное начинается, когда применяешь метод бюджетных когорт к измерению показателей фраз на реальной рекламной кампании в режиме 48х7. Первые результаты очень хорошие. Если хотите присоединиться к бесплатному тестированию, напишите Эльвире r-support@r-broker.ru. В теме укажите "хочу присоединиться к тестам Умного управления рекламой"
Ссылочное продвижение локальных сайтов: ТОП худших SEO-методов
demimurych
8
комментариев
0
читателей
Полный профиль
demimurych - о господи. это для регионального сайта? в яндексе? где у сайта по региону конкурентов меньше чем выдачи на двух страницах из которых перваш это реклама москвы? потешно ей богу. ктото чего то не понеимает.
Зачем подменять контент на сайте: разбираем инструмент и развенчиваем мифы
Дмитрий Сульман
4
комментария
0
читателей
Полный профиль
Дмитрий Сульман - Все верно, об этом я и говорю. У крупных компаний есть много данных и они имеют доступ к дорогим технологиям и решениям для персонализации контента. Топовые западные сервисы для персонализации, такие как RichRelevance или Dynamic Yield, стоят от нескольких тысяч до десятков тысяч долларов в месяц. Понятно, что малый бизнес не может себе этого позволить. Да даже если бы чисто теоретически и мог, то это вряд ли бы имело хоть какой-то смысл. Во-первых, у малого бизнеса недостаточно данных, чтобы подобные алгоритмы персонализации начали эффективно работать, а во-вторых, тот профит, который МСБ получит от персонализации, никогда не покроет таких расходов. Мы же предлагаем решение, доступное как раз для малого и среднего бизнеса. При этом наше решение комплексное: МультиЧат - это одновременно и инструмент для персонализации, и для коммуникации.
От мечты стать юристом к собственному SMM-агентству. Как найти себя в современном цифровом мире
Виктор Брухис
5
комментариев
0
читателей
Полный профиль
Виктор Брухис - Статья выглядит так, как пожелали редакторы и интервьюер) Вопросы к интервью подбирал не я)) Хотя, в целом я согласен с вашим видением. А за пожелание удачи большое спасибо!
Монетизируйте свой сайт вместе с VIZTROM
VIZTROM
3
комментария
0
читателей
Полный профиль
VIZTROM - Добрый день! Так как мы сейчас работаем в приватном режиме, Вы врятли можете объективно оценить нашу рекламную площадку. У нас будет официальный запуск 3 марта для вебмастеров. Приглашаем Вас присоединиться к нам и лично посмотреть наш функционал.
Как удвоить выручку за счет продвижения в поиске. Кейс coffee-butik.ru
Максим Боровой
3
комментария
0
читателей
Полный профиль
Максим Боровой - Последний вопрос (извиняюсь за количество) - почему на "В корзину" стоит Nofollow. Осознанно для распределение весов?
Digital-разговор: Михаил Шакин про SEO, Google и заработок в интернете
Анна Макарова
368
комментариев
0
читателей
Полный профиль
Анна Макарова - Подготовим ) Пока предлагаю почитать интервью с Денисом Нарижным из той же серии. Там стенограмма =) www.seonews.ru/interviews/digital-razgovor-denis-narizhnyy-pro-ukhod-iz-seo-i-zarabotok-na-partnerkakh/
Почему вы торгуетесь за показы, даже если платите за клики
Константин Требунских
3
комментария
0
читателей
Полный профиль
Константин Требунских - Дмитрий, спасибо за комментарий, хорошие замечания!) 1. "Какая-то подмена понятий. CPM у “Original Works” взлетает не от того, что у них РАВНАЯ цена клика, а оттого, что вы "с потолка" поставили ему CPC в 2 раза выше, чем был. Логично, что и CPM в 2 раза увеличился (см. формулу выше). Если бы вместо 5 вы всем решили поставить 2 или 1.5, то он бы наоборот уменьшился." Вы правы, что CPM уменьшился бы. В первой и второй табличке берем одинаковое количество показов (именно за них мы платим сначала) и считаем данные, в том числе CPC. Мы поставили рекламодателей в одинаковые условия и посмотрели их эффективность в разрезе цены клика при одинаковом количестве показов. А затем изменился аукцион, и, взяв получившиеся данные по кликам и CTR, мы поставили рекламодателей тоже в одинаковое положение, но уже по цене клика, ведь мы теперь за него платим. Посчитали эффективность в разрезе уже CPM. Тут если и есть подмена понятий, то она точно не моя, а рекламных систем, потому и обозначена, как "ход конем" :) 2. "Ок, смотрим таблички "как оно было" и "как оно стало". Было: система суммарно за 2 000 денег показала рекламу 4 000 раз. Стало: система суммарно за 2 000 денег показала рекламу 13 500 раз. Сомнительный профит для системы." Вы правы, именно поэтому для рекламодателей с низким CTR ставка будет выше, чем для рекламодателей с высоким CTR. Просто чтобы система окупилась. Потому что, системе выгодно продавать показы тем, у кого кликов будет больше (ведь они платят за клик). По факту реальные цены за клик в аукционе будут как в таблице 2. Но ранжирование системы проводят по таблице 5.
Кейс Hansa: как увеличить органический трафик в 1,5 раза
Алексей Порфирьев
3
комментария
0
читателей
Полный профиль
Алексей Порфирьев - Спасибо за замечание, о данной проблеме известно, но она не стоит в порядке приоритетных. Вопрос, на самом деле, дискуссионный. В тематике конкуренция не настолько велика, а в топе выдачи часто встречаются сайты с более серьёзными техническими проблемами. По этому, именно в статьях, более важно работать над релевантностью контента, отношением времени пользователя на странице к уровню доскрола, и различным пользовательским функционалом (рейтинг материала, просмотры и т. п.).
Автоматические SEO-аудиты: как напугать некорректными выводами
SEOquick
38
комментариев
0
читателей
Полный профиль
SEOquick - Парсинг сайтов – это самый лучший способ автоматизировать процесс сбора и сохранения информации. Конкурентов всегда нужно мониторить, а не сравнивать свой сайт через автоматический аудит анализатора.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
368
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
139
Комментариев
121
Комментариев
108
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
85
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!