×
Россия +7 (495) 139-20-33

Проведение А/В-тестирования в Яндекс.Директ. Ошибки и сравнение методов

Россия +7 (495) 139-20-33
Шрифт:
0 11626

Самый главный совет, который я хочу вам дать: если ваш проект уже приносит прибыль, тестируйте на нем все инструменты, экспериментируйте, проверяйте, а затем применяйте то, что лучше всего работает.

Хорошим подтверждением моих слов является беседа с одним бизнесменом, который владеет агентством недвижимости в Санкт-Петербурге. Выяснилось, что он сразу же тестирует все новинки, о которых слышит. К примеру, появляется новый вид рекламы, какая-то фишка в Директе или триггер на сайте, он тут же все это применяет и оставляет только те инструменты, которые увеличивают прибыль – они многократно окупают расходы на неудачные тесты.

С другой стороны, за годы своей практики я неоднократно встречал клиентов, не способных протестировать свой сайт. Наверное, они не в курсе, что А/В-тест поможет увеличить доходы в 1,5, а то и 2 раза.

Итак, давайте разберем А/В-тестирование подробнее. И сначала поговорим о том, как не стоит делать. А для этого важно понимать работу Яндекс.Директ и поведение посетителей на сайте.

Неправильный метод тестирования

Недавно наткнулся на статью, как тестировать объявления в Яндекс.Директ. Авторы статьи утверждают, что в Яндекс.Директ нужно создать 2 идентичные кампании и выставить временной таргетинг так, чтобы на протяжении одного часа выводилось одно объявление, а на протяжении следующего часа – другое. Возможно, данный метод выглядит красиво, однако работает он плохо.

ab1.jpg

Во-первых, как показывает опыт, Яндекс будет активизировать кампанию как минимум 40 минут, а то и гораздо дольше. Это значит, что кампания может активизироваться целый день, при этом достаточно большое количество показов и кликов пройдет мимо нас.

Во-вторых, чередование по часам не имеет смысла, поскольку каждый новый час будет отличаться. Для наглядности привожу пример из Яндекс.Метрики. Итак, перед нами сайт с одной рекламной кампанией. Конверсия отображается ежечасно, цель – «корзина». Выборка – 13447 посетителей, 343 целевых посетителя, средняя конверсия 2,6%, за месяц. Этот график доказывает, что конверсия зависит от часа и может колебаться более чем в 5 раз (1,61%-8%). Погрешность 40% в меньшую сторону и 200% в большую!

ab2.jpg

Отсюда можно сделать логичный вывод: ротацию объявлений нужно проводить в одно и то же время, чтобы статистика была показательной.

Оптимальный метод тестирования

Группы объявлений и запуск двух одинаковых кампаний параллельно не дают нужной эффективности (показы распределяются неравномерно, единственный критерий отбора – CTR, отличающиеся CTR у одинаковых фраз при расчёте цен и позиций и другие нюансы). Но здесь важно будет выделить на тест ровно неделю, поскольку дни отличаются друг от друга в большей степени, чем часы. Безусловно, неделя неделе тоже рознь, тем более во время колебаний курса или нестабильной экономической ситуации. Однако опыт показывает, что именно такой способ дает минимальную погрешность. Единственное условие – не проводить тесты во время праздников или на стыке сезонов. И желательно на выборке как минимум 500 кликов с кампании! Лучше больше, но для малого бизнеса это не всегда возможно.

Возьмём тот же месяц, те же данные, но уже сегментируем их по неделям. Разброс конверсии – 2,4-2,8%. То есть при средней конверсии 2,6% погрешность составляет лишь 8%!

ab3.jpg

Здесь стоит уточнить, что я говорю об А/В-тестировании в условиях стабильной работы кампании. А вот когда заявок мало, бюджет тает на глазах, не совсем понятно, что происходит, да еще и клиент нервничает, в таком случае можно тестировать по дням, быстро, от 150 до 300 кликов на 1 тест. И целью теста будет не увеличить показатели постепенно, а хоть как-то исправить текущую ситуацию. Но при этом не стоит забывать, что каждый тест нужно хорошо взвешивать и выверять. Поэтому широко используйте Метрику, изучайте, как ведут себя посетители, и проводите тщательный анализ.

В каком порядке тестировать

1) Заголовок, текст, формулировка УТП, УТП, картинка в РСЯ, быстрые ссылки, стратегия показов.

2) Элементы виртуальной визитки, слова в тексте, призыв к действию, домен, фавикон, украшения (например, смайлы и знаки восклицания).

3) Не зацикливаемся на одной рекламе, тестируем также сайт. В некоторых случаях всего лишь смена заголовка может повысить конверсию в 2 раза. А есть ещё фон, картинки, форма, цвет кнопки, тексты, шрифты, расположение блоков, значки, видео и карта.

Самые распространенные ошибки во время тестирования

1. Не думать о качестве теста

К примеру, после тестирования лендинга вместо многостраничного сайта обнаружилось, что упала конверсия. И первая мысль, которая приходит в голову, конечно же – одностраничные сайты не работают! Но не стоит спешить, проанализируйте сначала, все ли в порядке с дизайном, версткой, проработана ли ЦА, логично ли размещены блоки, цепляют ли заголовки текстов и т. д. Все эти детали можно и нужно тестировать, так сказать, проводить тест внутри теста. Как вариант – получать заказы с сайта, а часть трафика перенаправить на этот одностраничник и тестировать его постепенно.

2. Тестировать без предварительного анализа

Подобные действия очень емко выражены в одном анекдоте. Мужчина решил не есть мандарины в новогоднюю ночь, чтобы, наконец, найти причины плохого самочувствия 1 января.

И было бы смешно, если бы не было правдой. Многие совершенно бездумно вносят изменения ради изменений. А стоит сначала проанализировать вебвизор, конкурентов, показатели, найти слабые стороны и лишь потом проводить тесты. Ведь, согласитесь, нет смысла тестировать фавикон, если у конкурентов доставка товара в день покупки, а у вас – только на следующий день.

3. Проводить тесты «на глаз»

Чтобы получить конкретные результаты теста, нужно грамотно его провести. Варианты, типа «по-моему, заказов больше так и не становится» – крайне неверны. Нужно замерять абсолютно все показатели (CTR, конверсию сайта, качество работы отдела продаж, время пользователя на сайте, количество просмотренных страниц и показатель отказов), изучить каждый из них в отдельности, а затем комплексно, и только после этого оставить самый лучший вариант.

4. Выбрать неподходящее время

Совершенно очевидно, что поведение потребителей, например, 15 августа и 1 сентября или же 30 декабря и 16 января будет отличаться. В эти дни они испытывают разные потребности, и количество денег в их карманах также рознится.

Да, небольшие колебания постоянно происходят. Свою погрешность добавляют дни зарплаты, рост и падение курсов валют, погода за окном, ТВ-программы и прочее. Но колебания в такие дни будут незначительными. А вот если проводить тесты на стыке сезонов, во время государственных праздников, выборов, крупных фестивалей, чемпионатов, митингов, войны и природных катаклизмов, скачки будут достаточно большими и спрос может резко меняться.

5. Тестировать на маленькой выборке

Социальные опросы проводят минимум на 350 людях – меньшее количество считается нерепрезентативной выборкой, по которой выводы могут быть ошибочными из-за слишком сильного влияния внешних факторов. С такой погрешностью работать нельзя – неправильные выводы приводят к неправильным действиям, и реклама опять превращается в лотерею – как и в случае, если тестирование не проводить вообще. По этой же причине я являюсь противником медиапланов и прогнозов бюджета.

Что же, в этой статье я разобрал все основные проблемы и привел достаточно примеров. Так что вам осталось лишь применить данные советы на практике. И если вам лень это делать, подумайте о том, что в течение года комплекс А/В-тестов увеличивает ROI с рекламы в среднем в 1,5–3 раза. По-моему, это достаточная мотивация. Если же нет, тогда добавлю, что это самое интересное в Директе, да и голова работает на полную мощность

(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Ане Макаровой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
#SEOnews14: мы празднуем – вы получаете подарки!
Анна Макарова
361
комментарий
0
читателей
Полный профиль
Анна Макарова - Гость, добрый день! С победителями мы связывались сразу после розыгрыша. Если мы вам не написали, значит, ваш номер не выпал. Но не расстраивайтесь, у нас обязательно будут новые розыгрыши!
Что скрывает «Прогноз бюджета Яндекс.Директ»?
Михаил Мухин
9
комментариев
0
читателей
Полный профиль
Михаил Мухин - Дожидаться 100 попыток не будем - не дождемся :) Подведем итоги и опубликуем решение 13 Декабря
Как ускорить сайт на WordPress, чтобы получить 100/100 в Google PageSpeed Insights
Георгий
1
комментарий
0
читателей
Полный профиль
Георгий - Все что рекомендуется в этой статье есть у w.tools. Ни разу не пожалел что подключился. Своя CDN сеть, кеш статики и динамики, минификация js\css и кешируемого html, оптимизация всех типов картинок и еще куча всего полезного. Сайт летает и я не знаю проблем. Могу рекомендовать от души.
Война с дубликатами. Как нужно и как не нужно канонизировать URL
Ann Yaroshenko
5
комментариев
0
читателей
Полный профиль
Ann Yaroshenko - Дмитрий, добрый день! Если вы проставили на странице с автозапчастями rel=canonical ( а я вижу в коде, что не проставили) или в HTTP хедере, то бот, как правило: выберит ту страницу главной, которую вы указали в rel=canonical ссылке. Eсли же вы этого не сделали, то бот сам выберит оригинал (алгоритмы, по которым бот это делает, скрыты Googl-ом)
«Аудит, чтобы ты заплакала…», или Что делать, когда получил сторонний аудит сайта
Евгений
1
комментарий
0
читателей
Полный профиль
Евгений - Воообще, на самом деле здесь двоякое впечатление от таких аудитов. Конечно, для полного глубокого анализа и подготовки рекомендаций по сайту - нужны доступы к системам аналитики и инструментам вебмастера. Но если оценивать подобные аудиты с точки зрения чистого SEO (которое все больше и больше становится лишь малой частью digital-маркетинга, лишь одним из каналов) - они имеют место быть. Но с оговоркой, что они сделаны с учетом анализа конкурентов/отрасли. Современные инструменты и алгоритмы позволяют делать это маркетологам в автоматическом режиме, и даже давать рекомендации - возможностями машинного обучения уже никого не удивишь. Да, полное перечисление "мифического" списка ошибок, построенного по предикативным правилам, да еще и с учетом устаревших особенностей ПС - это явный признак некачественного аудита. В первую очередь потому, что эти "ошибки" следует рассматривать в качестве рекомендаций от ПС (как и говорится в справочнике вебмастера у Яндекса/Google). Однако если эти данные даются с отсылкой на данные о конкурентах, об отрасли, используются методы ML и Natural language processing для обработки исходных данных, кластеризации запросов, классификации страниц/запросов/сайтов, определения структуры документа - такие отчеты имеют право на существование. Но ключевым моментом является то, что подобные инструменты достаточно сложны в разработке, а значит требуют квалифицированных специалистов для их разработки. Которых просто нет у студий рассылающих подобные "сео отчеты". Подобные отчеты по "ошибках" тоже неплохой источник информации, но лишь на 0 этапе анализа сайта. И в принципе, теоретически, возможно почти полное составление "хороших аудитов" без участия маркетолога, на основе лишь открытых данных сайта/внешних источников, но только при соответствующем применении всех современных возможностей анализа данных и рекомендательных систем. И в любом случае подобный "хороший отчет" требует конечного заключения от эксперта.
От мечты стать юристом к собственному SMM-агентству. Как найти себя в современном цифровом мире
Виктор Брухис
5
комментариев
0
читателей
Полный профиль
Виктор Брухис - Статья выглядит так, как пожелали редакторы и интервьюер) Вопросы к интервью подбирал не я)) Хотя, в целом я согласен с вашим видением. А за пожелание удачи большое спасибо!
BDD 2019: Как перестать убивать время на сбор и обработку тонны данных для SEO-аудита
Kosta Bankovski
4
комментария
0
читателей
Полный профиль
Kosta Bankovski - Спасибо за приятные слова! Буду и дальше делиться наработками ;)
Как провести анализ содержания страниц товаров и категорий
Никита Седнин
3
комментария
0
читателей
Полный профиль
Никита Седнин - Спасибо!
Как вывести сайт в ТОП 10 Google в 2019 году
Ирина
8
комментариев
0
читателей
Полный профиль
Ирина - Работают. Как естественные, так и закупные. >Мои сайты в первую очередь заточены на яндекс Соболезную. >Насколько поисковые алгоритмы с гугловскими у него. Разница в 10 лет. Вон в Яше все долбят на ключи, на вхождения и прочий трэш из древностей. А у Гугла, вон почитайте про eat, ymyl Не все понятно но спасибо за ответы. Я так понимаю что с ссылками деть никто точно не знает) Ну это и хорошо вообщем. Самому разбираться как то интересней. Но не всегда. Есть к примеру 2captcha.com/ru и на него 100к ссылок есть. Ну а смысл какой?
Как я пытался купить CRM-систему, но мне ее поленились продать
Kristina
1
комментарий
0
читателей
Полный профиль
Kristina - Очень рекомендую CRM-систему польской фирмы Firmao. Все функции настраиваются в соответствии с индивидуальным потребностям компании! Советую попробовать бесплатную демо-версию, чтобы попробовать все необходимые функции, без лишних кнопок и траты дополнительных финансов! :) Сайт: firmao.ru/info
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
361
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
107
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
79
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!