Что нужно знать об A/B-тестах в контекстной рекламе

Татьяна Бикаева

Маркетолог CPA-сеть admitad проект GetDirect

Основная цель такого исследования – из множества объявлений выявить то, которое обеспечит наибольший CTR и конверсию.

Особенности сплит-тестирования контекстной рекламы:

• Сложность в подборе схожих периодов тестирования – спрос на тот или иной товар/услугу в разные периоды времени будет неоднородным. Для достоверности тестирования необходимо подобрать такие временные отрезки, чтобы уровень спроса был примерно равным для каждого тестируемого объявления. Зачастую для этого используется «шахматный» метод сплит-тестирования.
• Необходимость проводить исследование не в масштабах группы объявлений, а для каждого объявления в отдельности. Это необходимо для более точного понимания того блока рекламного объявления, который увеличил эффективность рекламы.
• Длительный период теста. Связано это с тем, что спрос и предпочтения на многие товары очень нестабильны (они могу колебаться в зависимости от: погоды, курса валют, праздников и выходных, инфо-поводов и т.д.). Исходя из этого, А/В-тестирование необходимо проводить до выявления стабильного «лидера». Зачастую этот период растягивается на несколько недель.
• Неоднородная ЦА – это фактор, увеличивающий период тестирования. Исходя из того что каждый сегмент ЦА проявляет наибольшую активность в разные периоды времени, приходится увеличивать отрезок времени для исследования всех сегментов.
• Сложность в тестировании низкочастотных запросов. Тестирование низкочастотных запросов, пожалуй, самая большая проблема тестирования объявлений в контекстной рекламе. Чтобы собрать релевантные данные, тестовые объявления должны собрать определенное количество кликов (и это не 5, 10 или 20, а хотя бы 100). Что делать, если по определенным низкочастотникам всего 20–30 показов в месяц? К сожалению, в таком случае тестовый период растягивается на несколько месяцев. Конечно, можно ограничиться значительно меньшим числом кликов для подведения статистических данных, однако, такая статистика может не соответствовать действительности.

Что можно тестировать в контекстной рекламе в поиске

Тестируемый объект интерпретируется в 2–4 вариантах:

Что можно тестировать в контекстной рекламе в РСЯ

Тестируемый объект интерпретируется в 2–4 вариантах:

Методы тестирования

Существует два основных метода тестирования: одновременное и по очереди. Каждый метод имеет как свои плюсы, так и минусы.

Метод «шахматки»

Подразумевает создание 2–3 объявлений, которые показываются по очереди. Например: 0–1 час – первый вариант объявления, 1–2 час – второй вариант объявления, 2–3 час – опять первое объявление, 3-4 час – снова второе объявление и т.д. Возможны различные варианты «разбивки» объявлений на временные отрезки (по часам, по дня недели и т.д.). Большой плюс этого метода заключается в том, что внешние условия (день недели, время суток и т.д.) схожи при показах обоих объявлений.

Или так:

Одновременный запуск нескольких рекламных объявлений

Суть этого метода заключается том, что Яндекс и Google показывают объявления по очереди, и через некоторое время остается только самое кликабельное объявление (с большим CTR). Однако этот метод имеет серьезный недостаток: система ротирует объявления неравномерно (в разное время суток, в разные дни), поэтому и CTR этих объявлений формируется зачастую при различных внешних факторах, а значит, и достоверность результатов теста относительна.

Основные ошибки при А/В-тестировании контекстной рекламы

• Непродуманные блоки объявлений (весь контент объявлений должен быть качественно проработан).
• Тестирование без предварительной аналитики. Чтобы получить качественное А/В-тестирование, необходимо изучить статистику показов, Вебвизор, объявления конкурентов и прочие источники, которые помогут проанализировать эффективность существующих объявлений.
• Отсутствие подробной аналитики в течение теста и по его итогу. Результаты тестирования должны «вытекать» из статистических данных, а не определяться «на глаз».
• Неправильное время для тестирования. Следует понимать, что спрос и потребности пользователей колеблются в зависимости от внешних факторов, поэтому, планируя проведение сплит-тестирования, следует избегать периодов, когда действие внешних факторов особенно сильное (праздники, сильные экономические и политические колебания, катаклизмы и т.д.).
• Тест сразу нескольких блоков объявления. Необходимо понимать, что для корректного анализа результатов сплит-тестирования следует одномоментно изменять только один блок объявления (только текст, только заголовок, только быстрые ссылки и т.д.), в противном случае крайне сложно выявить, какой именно блок повлиял на динамику конверсии, правильно оценить полученную статистику будет крайне проблематично.

Несколько советов для проведения качественного А/В-тестирования

• Всегда тестировать изменения только в одном блоке (только текст объявления, только заголовок и т.д.), чтобы иметь возможность максимально эффективно анализировать статистику тестирования.
• Не запускать сплит-тестирование в периоды, когда внешние факторы активно воздействуют на спрос (праздники, экономические и политические колебания, смена сезонов и т.д.), т.к. полученные данные будут не объективными.
• Всегда анализировать рынок, конкурентов, статистику собственных рекламных кампаний перед началом тестирования.
• Тестировать по очереди все блоки, пытаясь выявить наиболее оптимальные и конверсионные.
• Сроки тестирования должны быть достаточными, чтобы каждое из объявлений смогло набрать 100–200 кликов. Анализировать следует только достаточный массив данных. Недостаточная статистика с большой долей вероятности будет нерепрезентативной.
• Проводить тщательный анализ полученных данных, результат которого будет опираться исключительно на цифры.
• Результаты сплит-тестирования актуальны только для конкретного продукта в конкретный период времени.
• Также важно анализировать трафик по рекламным фразам. Если по фразе было более 20 переходов, то есть смысл посмотреть процент отказов по ней в Яндекс.Метрике. Если он близок к 100%, то показы по данной фразе можно отключить. И в будущем либо вообще ее не использовать, либо таргетировать на другую, более подходящую страницу.
• Если вы хотите протестировать работу низкочастотных запросов, то здесь можно попытаться разве что вручную выставить для них максимальную ставку. Чтобы получить наибольшее число переходов и сформировать статистику для исследования. Но этот метод не всегда работает.

Пример из практики

Данный кейс наглядно иллюстрирует, как выглядят тестируемые объявления и какую статистику по ним можно получить.

Рекламируемая услуга: туристическая страховка

Тестируемый блок: текст объявления

Объявление №1

Объявление №2

Объявление №3

Объявление №4

Объявление №5

Статистика по объявлениям

Согласно статистике, наибольший CTR, а именно 0,7%, имеет следующее объявление:

Исходя из этого, мы можем сделать вывод, что применение данного объявления в рекламной кампании будет наиболее эффективно (в сравнении с другими объявлениями).

В заключение хотелось бы отметить, что применение сплит-тестирований в настройке контекстной рекламы исключительно положительно влияет на ее эффективность. Однако не следует забывать, что результаты А/В-тестирований не абсолютны. Они применимы только для конкретного товара и в конкретный момент времени. Цикличные тестирования помогут всегда иметь достоверную информацию о наиболее эффективных блоках и успешно применять ее при запуске рекламных кампаний.