Теоретические и практические аспекты проведения экспериментов над поисковыми системами

1. Введение. Важность проведения экспериментов
2. Общая теория эксперимента
3. Особенности проведения экспериментов над поисковыми системами
4. Практические рекомендации при проведении экспериментов
5. Заключение
6. Список ресурсов для проведения эксперимента

1. Введение. Важность проведения экспериментов

Эксперименты над поисковыми системами – неотъемлемая часть процесса продвижения сайта. На самом деле, сложно заниматься оптимизацией сайтов, не зная принципов работы поисковика. Эксперимент – это один из самых эффективных способ изучить механизмы функционирования поисковых систем. Фактически это единственный способ получения новых знаний.
Мы построим мастер-класс по следующей схеме:

1. Сначала рассмотрим классическую схему постановки эксперимента (однако не будем рассматривать методологию с научной точки зрения);
2. Затем рассмотрим особенности проведения экспериментов над поисковыми системами;
3. После опишем основные практические приемы планирования и проведения экспериментов;
4. В конце приведем пример удачно спланированного и приведенного эксперимента.

2. Общая теория эксперимента

Итак, что же такое эксперимент?
Эксперимент — это набор действий и наблюдений, выполняемых для проверки истинности или ложности гипотезы или исследования причинных связей между феноменами. Эксперимент является краеугольным камнем эмпирического подхода к знанию.
Эксперимент бывает активный и пассивный. Прежде чем объяснить, в чем же разница, нужно дать небольшой комментарий. Поисковую систему можно представить в виде модели «серого ящика», т.е. мы знаем вход модели (сайты с набором параметров), знаем выход (позиции сайтов) и примерно знаем внутренний механизм (знаем, что на сайты действует текстовая и ссылочная составляющие).
Так вот, активный эксперимент предполагает создание некой «очищенной ситуации». То есть мы специально подбираем определенный набор входных данных и примерно предполагаем, основываясь на своих знаниях, какой будет выход.
Пассивный эксперимент предполагает просто анализ практических результатов работы, т.е. входные данные специально не задаются. Примером пассивного эксперимента является анализ апдейта.
Основой эксперимента является гипотеза. Гипотеза строится как временное предположение, выдвигаемое для придания исследованию целеустремленного характера. Гипотеза может быть выдвинута в виде простого предположения, например, «я считаю, что вот это работает таким образом», но чаще всего она основана на каких-то фактах, знаниях, опыте. Например, «целый месяц мы делали вот таким образом, однако результата не было, поэтому мы считаем что…»
Если выдвигается ряд гипотез, различным образом объясняющих одни и те же факты, их принято называть версиями. Опровержение одной из версий создает условия для порождения новых, более обоснованных.
Таким образом, мы подходим к цели эксперимента. Она заключается в следующем – полученные в ходе проведения эксперимента факты должны подтвердить или опровергнуть выдвинутую гипотезу.
Исходя из этого, нужно со всей серьезностью отнестись к выдвижению гипотезы. Правильная гипотеза должна обладать следующими качествами:

1. обоснованность (нельзя придумывать гипотезы «с потолка»);
2. однозначность (формулировка гипотезы должна одинаково трактоваться всеми участниками эксперимента);
3. возможность практической проверки (гипотеза может быть проверена, к этому нет препятствий в виде ограничений по ресурсам, знанию, времени и т.п.).

1. Изучение проблемы (с привлечением различных источников);
2. Формулировка гипотезы;
3. Разработка плана;
4. Подготовка исходных данных: создание экспериментальных сайтов, регистрация их в поисковой системе;
5. Внесение изменений в экспериментальные сайты после их индексации поисковой системой;
6. Формулирование выводов после переиндексации сайтов.

• сначала создается полностью идентичные сайты, т.е. сайты с одинаковой html-разметкой, количеством слов и т.д.;
• сайты отдаются на индексацию;
• после индексации фиксируются позиции и у сайтов меняют исследуемый параметр (например, исследуется влияние плотности ключевых слов, сначала создали одинаковые сайты, после первой индексации добавили на сайты различное количество ключевых слов, поменяв показатель плотности ключевых слов);
• после переиндексации новые сравниваются с исходными позициями; если изменений не произошло, то значит, что исследуемый фактор не оказывает влияния на релевантность.

3. Особенности проведения экспериментов над поисковыми системами

Проведение экспериментов над поисковиками имеет свою специфику. Прежде всего, она касается условий проведения экспериментов – поисковая система нестабильна, у нее могут случаться сбои, и все это нужно учитывать при планировании и проведении эксперимента.
Итак, особенности:

1. Технические. Сбои в работе поисковой системы могут доставлять неудобства в ходе эксперимента. Некоторые сайты могут периодически выпадать из выдачи, у других сайтов могут быть проблемы с индексацией. Снизить это негативное влияние поможет бОльший размер выборки экспериментальных сайтов (чтобы в случае выпадения некоторых сайтов оставшихся было достаточно для формулирования выводов) и использование ссылок для улучшения индексации (здесь надо смотреть, чтобы ссылки не оказывали влияния на результат). Например, в эксперименте «Влияние ключевых слов в стиле H1, H2, H3» временное выпадение сайтов немного отодвинуло сроки окончания эксперимента.
2. Специфические. Во-первых, поисковые системы периодически меняют некоторые элементы в своей работы:

   a. алгоритмы расчета релевантности,

   b. вспомогательные инструменты (например, несколько раз в год меняются принципы «переколдовки»).

   Такие глобальные изменения происходят нечасто и в большинстве случаев не влияют на ход эксперимента, т.к. или они вообще не касаются анализируемого в эксперименте параметра, либо изменения в равной степени воздействуют на все сайты. Однако даже такие нечастные изменения заставляют периодически проверять результаты старых экспериментов.
   Во-вторых, поисковой системе свойственна динамичность. Порой апдейты в выдаче происходят через день и это заставляет оперативно собирать результаты, т.к. в случае, если апдейт прошел, результаты прошлого апдейта становятся недоступными. А ведь бывают эксперименты, по которым нужны данные по всем апдейтам. Например, вы хотите точно знать, в течение скольких апдейтов действует «бонус новичка».
   В-третьих, существует такой неприятный момент, как дискретность выдачи. Т.е. на выходе мы имеет ранжированный ряд, по которому нельзя оценить степень превосходства одного сайта над другим. Мы можем оперировать лишь понятиями «лучше-хуже», но не можем сказать «во сколько». Как от этого избавиться? Можно попробовать воспользоваться - приемом И. Козлова aka Миныча. Может возникнуть такая ситуация, что релевантность группы экспериментальных сайтов оказывается одинаковой. Но Яндекс отранжировал сайты, они заняли каждый свою позицию, и мы думаем, что на самом деле «вот этот вот сайт релевантнее», начинаем искать «почему» и делаем массу других ненужных вещей. Что же нужно делать на самом деле? Ждать. Как показывает практика, сайты с одинаковой релевантностью периодически меняются позициями (где-то раз в два месяца). Например, посмотрите на результаты эксперимента «Проверка влияния тега »
3. Искусственные. К такому виду особенностей мы отнесем, во-первых, различные фильтры, во-вторых, искусственное обрезание выдачи.
   К фильтрам можно отнести:
   • пессимизацию,
   • штрафы за накрутку (текстовый и ссылочный спам),
   • «непот-фильтр» (когда не учитывается вес ссылки с сайта).
   Чтобы не попадать под фильтры (конечно, если вы не проверяете намеренно их влияние), надо создавать такие экспериментальные сайты, параметры которых имеют адекватные значения, т.е. близкие к естественным. Например, вы проверяете оптимальную плотность ключевого слова в title. Сделайте сайты с title длиной 10-12 слов и используйте от 1 до 5 ключевых слов.
   Еще одна особенность, касающаяся только поисковой системы Яндекс, - неполная выдача. Т.е. после просмотра некоторой части выдачи, оставшаяся часть перестает отображаться. Это касается не только выдачи по простому запросу, но и выдачи обратных ссылок на сайт. Как снизить влияние этого фактора? Нужно подбирать такие ключевые слова, чтобы экспериментальные сайты занимали верхние позиции. Или, если эксперимент можно провести автономно, не делать отдельные сайты, а сделать один сайт со множеством внутренних страниц, т.к. внутренние страницы сайта ранжируется абсолютно также, как и отдельные сайты.

4. Практические рекомендации при проведении экспериментов

А теперь дадим несколько практических советов, которые помогут провести эксперимент.

1. Конечно же, лучше всего использовать платный хостинг для экспериментальных сайтов – у них и лог-файлы есть, и Яндекс к ним лучше относится. Однако это часто экономически неоправданно. Приходится размещать сайты на бесплатном хостинге. Здесь лучше всего использовать провайдера land.ru – простая регистрация, предоставление ftp-доступа, бесперебойное функционирование сервера.
2. При планировании эксперимента стоит подумать о рациональности. Нет смысла делать 100 сайтов для того, чтобы проверить влияние одного фактора.
   Например, проверяем влияние тегов форматирования, хотим узнать, какой тег оказывает большее влияние на релевантность. Проверку будем производить не по одному слову, а по нескольким словам, например, пяти. Таким образом, мы зададим пять запросов и получим пять выдач, используя один массив экспериментальных сайтов. Добавлять ключевые слова (или другие проверяемые факторы) можно до тех пор, пока дальнейшее усложнение не приведет к резкому увеличению трудозатрат на создание сайтов, т.к. простые сайты можно сгенерировать скриптом, а сложные придется делать вручную
3. Апдейт поисковой системы происходит не одномоментно, а длится какое-то время. Поэтому один и тот же сайт в течение нескольких часов может занимать различные позиции. Окончательные результаты можно смотреть примерно через сутки после начала апдейта.
4. При анализе позиций внимательно проверяете сайты. Проверяйте,
   • все ли сайты сделаны так, как планировалось? (т.к. часто экспериментальные сайты делаются вручную, возможны банальные ошибки, связанные с неряшливостью, неаккуратностью, забывчивостью, например, вставили не то количество ключевых слов на сайт, применили не тот тег форматирования и т.п.);
   • были ли проиндексированы внесенные изменения на всех сайтах? (Возможна такая ситуация - вы думаете, что изменения в позициях вызваны тем, что вы изменили содержимое своих сайтов, но на самом деле Яндекс еще не проиндексировал новые версии сайтов, а выдача изменилась по другой причине);
   • нет ли каких-либо посторонних ссылок на сайты?
5. Когда проверяете влияние какого-либо фактора, в выборку для сравнения нужно включить несколько сайтов, где нет влияния проверяемого параметра. Например, проверяем влияние тегов форматирования - в анализ следует добавить пару сайтов, где не применяется форматирование ключевых слов. Этот прием был использован в эксперименте «Влияние ключевых слов в стиле H1, H2, H3»
6. Целевая функция может иметь нелинейный вид, и результаты конкретного эксперимента могут не соответствовать тренду, а попадать на фрагменты резкого увеличения/уменьшения значения функции. Поэтому количество экспериментальных сайтов должно быть достаточно большим (лучше не менее 50-ти).

5. Заключение

Итак, что же можно сказать в завершении?
Во-первых, эксперименты всякие нужны, эксперименты всякие важны. Без экспериментальных исследований (будь то анализ отдельно взятого сайта или целая серия экспериментов, направленных на изучение ссылочного расследования) сложно продвигать сайты эффективно.
Во-вторых, прежде чем бросаться экспериментировать, нужно немного изучить теорию постановки эксперимента, чтобы в дальнейшем грамотно выдвигать гипотезы и планировать проведение эксперимента, учитывая особенности поисковых систем (которые выступают в качестве среды проведения эксперимента).
В-третьих, нужно набираться опыта, фиксировать в ходе проведения экспериментов все, даже самые незначительные, моменты, анализировать результаты с разных сторон и, конечно же, применять вновь приобретенные знания на практике.

6. Список ресурсов для проведения эксперимента

1. Мастер-класс «Анализ апдейта».
2. Мастер-класс «Классификация источников знаний и информации SEO-тематики» поможет собрать нужную информацию для формулирования гипотезы к эксперименту.
3. Мастер-класс «Использование бесплатного хостинга при продвижении сайта: основные недостатки» поможет выбрать бесплатный хостинг для экспериментальных сайтов.
4. Евгений Трофименко, «Постановка экспериментов над поисковыми системами».
5. Обсуждение экспериментов по текстовой релевантности – «Релевантность контента страниц запросу для Яндекса Эксперимент по Минычу». Пример грамотного эксперимента.
6. Язык запросов – изучение языка запросов предоставит большие возможности при постановке и анализе экспериментов.