Репрезентативная выборка в контекстной рекламе: как определить эффективность кампании на этапе тестирования

До запуска рекламной кампании часто проводится A/B-тестирование. Но не каждый тест будет показательным. И первая ошибка – неверное определение репрезентативной выборки. Из-за нее деньги на запуск рекламы тратятся впустую. 

Читайте в статье о том, что такое репрезентативная выборка, как ее правильно рассчитать и получить хорошие результаты. 

Что такое репрезентативная выборка 

Понятия «репрезентативная выборка» и «генеральная совокупность» знакомы каждому, кто запускает A/B-тесты и хочет получить статистически значимый результат. Ведь, как правило, причинами провальных тестов чаще всего становятся недостаточный объем данных и маленькая выборка. 

Чтобы рассчитать репрезентативную выборку, сейчас не нужны сложные формулы и подсчет вручную. Можно использовать удобные онлайн-калькуляторы (Mindbox, Optimizely, VWO) и методику SurveyMonkey. 

Для работы с перечисленными инструментами необходимо знать основные понятия, то, как проводятся тесты, и понимать принципы работы инструментов расчета репрезентативной выборки. 

Вот основные понятия, необходимые для расчета: 

1. Генеральная совокупность. Группа людей, действия или мнения которых имеют значение. Для рекламодателя это люди, на которых распространяются результаты тестирования. Это могут быть подписчики в соцсетях, аудитория ремаркетинга, покупатели в офлайн-магазинах или просто женщины в возрасте от 25 до 40 лет. 
2. Репрезентативная выборка. Процент людей от генеральной совокупности, которые будут участвовать в A/B-тесте. Это представители целевой аудитории. 
3. Уровень доверия (достоверность). Показатель, характеризующий вероятность того, что выборка будет значимой для выбранных результатов. Указывается в пределах 80–99%. Если процент достоверности ниже 80, данным нельзя доверять. Как правило, достоверность определяют на уровне 95%. 
4. Погрешность. Говорит о том, что полученные результаты отражают поведение (для контекста) или мнение генеральной совокупности. 
5. Допустимый процент ошибки. Чаще всего составляет от 1 до 10%. Наиболее популярный предел погрешности – 5%. 

Каждый перечисленный показатель имеет свою специфику, о которой мы расскажем ниже. 

Зачем считать выборку в тестах и что еще влияет на результаты 

До запуска рекламной кампании проводится запуск тестирования. Это позволяет выявить наиболее эффективное объявление. В объявлении можно тестировать любой элемент: креативы, расширения, заголовки, описания, CTA-кнопки и т. д. 

Тестирование вариантов объявлений может повысить кликабельность объявления, увеличить коэффициент конверсии. Но, по статистике AppSumo, показательные результаты дают только 1 из 8 тестов. 

Корректные результаты тестов дает правильное определение репрезентативной выборки. Ниже разберем причины, по которым тест может быть бесполезен. 

1. Мало данных 

Например, мы начали тестировать два варианта объявлений с разными заголовками. Вечером получили такие результаты: 

По итогам первого дня может сложиться впечатление, что текущее объявление более эффективно. 

У рекламодателя могут возникнуть такие вопросы: 

• достаточно ли собрано данных, чтобы оценивать эффективность текущего объявления; 
• завершать или продолжать эксперимент. 

Десятка переходов и пары кликов недостаточно для того, чтобы делать выводы об эффективности кампании. Принимать решение можно только при достаточном количестве аналитических данных. 

Чтобы определить размер выборки, можно использовать онлайн-калькулятор Optimizely. 

В нем нужно сделать следующее:

• указать коэффициент конверсии по текущему объявлению. Например, 18%;
• задать статистическую значимость 95%; 
• указать минимальное относительное изменение коэффициента конверсии – 20%. 

Из расчетов видно следующее: чтобы получить статистически значимые данные, выборка для тестируемой группы должна быть не меньше 1300 человек. 

2. Неправильно поставлена гипотеза 

Это тоже популярная причина непоказательных результатов. 

Например, во время проведения теста появилась гипотеза, что если изменить описание в объявлении, трафик на целевую страницу увеличится. А это повысит конверсию. Но после тестирования нескольких вариантов описаний разница оказалась несущественной. 

В этом случае возникает логичный вопрос: как улучшить результаты и сделать тест показательным. Один способ – вызвать интерес у целевой аудитории. Простого изменения описания в объявлении или заголовка может не хватить. Требуются более существенные меры. Например, можно изменить креатив или поменять торговое предложение (уменьшить цену, увеличить скидку, предложить рассрочку на покупку). 

3. Выбрана не та метрика 

Получить значимые результаты можно, выбрав для улучшения только один показатель. Например, вы хотите, чтобы коэффициент конверсии к покупке стал выше для новых посетителей. Именно с учетом такого показателя и рассчитывают выборку онлайн-калькуляторы. 

Но если данных по конверсиям мало, то необходимо ориентироваться на другие метрики. Например, рост CTR. В этих случаях выборку можно рассчитать с помощью онлайн-калькулятора Mindbox. 

Он позволяет определять размер выборки для нескольких вариантов тестирования по следующим показателям:

• Click Rate. Соотношение писем, открытых хотя бы один раз, и общего количества доставленных. По факту, это CTR для рекламных объявлений; 
• Open Rate. Отношение писем, открытых за период, к общему количеству всех доставленных;
• Conversion Rate. Это показатель конверсии в заказы. Для объявлений он рассчитывается как соотношение количества конверсий к суммарному количеству посетителей; 
• Конверсия в прочие целевые действия. 

На размер выборки непосредственно влияет выбранный тестируемый показатель и количество тестируемых вариантов. 

Например, рассчитаем, какая выборка должна быть при тестировании Open Rate. Условия такие: средний Open Rate – 15%, планируемый прирост показателя – около 30%. 

Получается, что для каждого объявления в выборку попадут 2 224 человека. 

А сколько человек должны увидеть объявление при тестировании показателя «Конверсия в заказы», если средняя конверсия по истории составляет 5%? 

Для каждой тестируемой группы размер выборки составит 29 827 человек. 

Вывод такой: чем ближе к деньгам, тем показательнее результаты. Из-за этого все A/B-тесты могли бы измеряться по Conversion Rate. Но проблема заключается в том, что на нижних уровнях воронки продаж для проведения теста требуется больше людей. Чтобы расширить охват и получить достоверные данные, в таком случае нужно ориентироваться на повышение показателя Open Rate или Click Rate. 

Как рассчитать размер выборки 

Способ SurveyMonkey 

Компания SurveyMonkey представила способ определения репрезентативной выборки на основании уровня доверия и предела погрешности. 

Это можно сделать с помощью таблицы: 

Репрезентативная выборка рассчитывается в пять этапов. Разберем их на примере магазина электрических инструментов. 

Исходные данные: расположенный в Курске магазин хочет привлечь на сайт новых клиентов и запускает рекламу. 

До запуска проводится A/B-тест и тестируются два объявления с различными вариантами заголовков. По одной из гипотез, второй вариант объявления сильнее заинтересует целевую аудиторию и даст больше кликов и конверсий. 

Этап 1. Определение генеральной совокупности. Маркетологи интернет-магазина собрали достаточно информации о покупателях. Целевая аудитория – мужчины из Курска в возрасте от 25 до 70 лет, которым интересен ремонт, строительство, обустройство дома. 

Оценить приблизительный размер целевой аудитории можно в myTarget. У этой платформы есть гибкие настройки таргетинга. Она помогает примерно понять рекламный охват, который можно принять за генеральную совокупность. 

Сейчас мы не будем рассказывать о запуске кампании через myTarget, а определим размер ЦА. Узнать больше о том, как работать с рекламой в системе, можно в гайде «Как настроить рекламу в myTarget». 

Сначала нужно зайти в профиль myTarget и выбрать цель – «Конверсии» – «Трафик», а ниже указать URL. Слева будет расположен прогноз аудитории за неделю. Рекламный охват будет уменьшаться по мере настройки таргетинга. 

Пробуем сократить рекламный охват и указываем настройки:

• возраст – 25–70 лет; 
• пол – мужчины; 
• география – Курск. 

После уточнения размер аудитории уменьшится до 43 000 – 144 000 человек: 

Конкретизируем интересы. Потенциальным покупателям интересны автомобили, ремонтные и строительные работы, благоустройство дома: 

Теперь размер целевой аудитории стал находиться в пределах 34 000 – 108 000 человек. 

Этап 2. Определение точности теста. Чтобы получить статистически значимые результаты, нужно установить уровень доверия – 95–99%, а предел погрешности 1–5%. 

Например, существует гипотеза, что пользователи чаще кликают по второму объявлению. Берем уровень погрешности 1%, поэтому уровень доверия составит 99%. Это значит, что 98–100% пользователей оценят выше второй вариант объявления. 

Этап 3. Определение размера выборки с помощью таблицы. Наша генеральная совокупность примерно составляет 100 000 человек. В подходящую выборку входит от 383 до 8763 человек. Чтобы получить максимально значимые данные, нужно установить уровень доверия 99%. Поэтому возьмем 660 человек. 

Этап 4. Определение ожидаемой конверсии по объявлению. По предыдущим кампаниям средний показатель составлял 12%. Поэтому берем CR = 12%. 

Этап 5. Расчет количества людей для показа объявлений и получения статистически значимых результатов. Делим 660 на 0,12. Получается, выборка для одной тестовой группы – 5500 человек. Так как тестируются два варианта объявлений, при распределении аудитории 50/50 второе объявление тоже должны увидеть 5500 пользователей. 

Optimizely 

Проверим, насколько выборка, полученная методом SurveyMonkey, отличается от результатов онлайн-калькуляторов. 

Задаем в онлайн-калькуляторе следующие значения: 

1. Ожидаемая конверсия (Conversation rate). С учетом предыдущего опыта принимаем средний показатель прогнозируемой конверсии. Как и в примере выше, CR = 12%. 
2. Минимальное изменение конверсии после замены заголовка объявления. Так как максимальный показатель конверсии в предыдущих кампаниях был 13,7%, берем минимальный на уровне 14%. Это число получается по следующим расчетам: (13,7/12-1)*100%=14%. 
3. Уровень доверия. В примере выше он был на уровне 99%. Чтобы сравнить результаты, оставим его таким же. 

Если ввести все эти значения, то становится видно, что в контрольную группу должны входить 5300 человек. 

Результаты не сильно отличаются от полученных методом SurveyMonkey. Разница только в том, что во втором расчете размер контрольной группы – 5300 человек, а не 5500. 

Mindbox 

Рассчитаем размер тестируемой выборки с помощью калькулятора Mindbox. 

Вносим данные из примера в калькулятор: 

1. Тестируемый показатель – конверсия в заказы. 
2. Количество вариантов тестирования – 2. 
3. Показатель средней конверсии по опыту – 12%. 
4. Ожидаемый абсолютный прирост конверсии – около 2%. 
5. Достоверность – 99%. Показывает процент уверенности в корректности результатов теста, если есть разница. 
6. Мощность – 80%. Это процент доверия результатам теста, если нет разницы. 

Результаты Mindbox показывают, что для каждой тестируемой группы размер выборки должен быть 6 166 человек. Это число больше, чем полученное по методу SurveyMonkey (контрольная группа из 5500 человек) или с помощью калькулятора Optimezely (5300 человек). Но цифры сопоставимы. 

Настройка Mindbox отличается от Optimezely рядом моментов: 

• в Optimizely ожидаемый прирост конверсии указывается в относительных величинах, а в Mindbox – в абсолютных; 
• в Optimezely, в отличие от Mindbox, не учитывается показатель мощности; 
• Mindbox позволяет получить выборку для тестов, где проверяются показатели Open rate и Click rate, а в Optimezely можно отследить изменения по показателю конверсии; 
• в Optimezely не нельзя рассчитать выборку для 2–5 тестовых групп. В Mindbox есть такая возможность. 

Так, на примере мы разобрали три способа расчета размера репрезентативной выборки для проведения тестовых кампаний. 

Главные трудности в тестах при расчете выборки 

Малое количество просмотров 

Часто для получения статистически значимых результатов в выборку должны попасть 2000–3000 человек. И это является большой проблемой в том случае, если в течение недели было около пары сотен переходов. 

Один из способов уменьшить размер выборки – снизить уровень доверия в настройках калькулятора до 80%. Если для определения репрезентативной выборки используется калькулятор Mindbox, то вы можете также уменьшить показатель мощности. Это снизит достоверность данных, но они не утратят статистической значимости. 

Например, если задать в Mindbox мощность 98%, а уровень доверия – 99%, размер выборки для одной группы будет 5 030 человек. 

Можно понизить мощность до 80%, уровень достоверности – до 85%, а остальные данные не менять. 

В итоге размер выборки уменьшится почти в 5 раз. Это существенное сокращение при низком рекламном трафике. 

Узкая тематика 

Проблема заключается в том, что описать запросы, по которым пользователи ищут услугу, можно только несколькими десятками ключевиков. Из-за этого и низкий трафик. 

Проблема решается так: 

• при расчете выборки нужно понизить уровень доверия. О том, как это работает, мы рассказали выше; 
• не стоит запускать тест на конверсию в заказы. Метрика не подходит для рекламы узких тематик. Если переходов мало, то низким будет и уровень конверсии в заказы. При этом, чтобы получить статистически значимые результаты, нужно, чтобы рекламу увидело больше пользователей, чем при выборе показателя Click Rate. 

Допустим, при конверсии по истории 3% выборка будет 18 273 человека: 

Не меняем уровень мощности и достоверности. Выбираем в показателях Click Rate. Указываем средний по истории показатель и абсолютный прирост: 

Для одной тестируемой группы выборка составит 2213 человек. Для узкой тематики это очень много. Снижаем мощность и достоверность: 

Так благодаря изменению тестируемой метрики и уменьшению показателей достоверности удалось сократить выборку с 18 273 до 1200 человек. 

О том, как увеличить трафик по объявлениям в узкой тематике, можно узнать из нашей статьи «Реклама в узкой тематике: 9 советов по повышению эффективности». 

Ограниченный бюджет 

Если бюджет низкий, рекламодатель не сможет тестировать все заголовки, креативы или тексты объявления. 

Вот несколько советов, чтобы сэкономить средства: 

1. Сравнивайте различные объявления. Чтобы поступательно тестировать сначала заголовки, потом тексты объявлений, креативы и другие элементы, нужно время и высокие бюджеты. Если этого нет, кардинально меняйте заголовки, тексты, креативы и сравнивайте радикально разные объявления. 

2. Пользуйтесь системами автоматизации. Если нужно сэкономить, самостоятельно создайте тестовые объявления, а не платите специалистам за эту работу. Так вы сможете освободить дополнительный ресурс и протестировать большую выборку. 

Например, чтобы составить объявления по ключевым словам, попробуйте инструмент медиапланирования Click.ru. Он соберет семантику, учитывая контент вашего сайта, слова конкурентов или данные счетчиков статистики. На основании собранных данных он составит объявления: 

Вы сможете отредактировать их и запустить тест. 

Еще один инструмент – генератор объявлений из YML. Он подходит для интернет-магазинов, которые пользуются выгрузкой товаров и услуг в XML. 

Узнать больше о том, как с ним работать, можно в статье «Как быстро составить 1000 объявлений контекстной рекламы из YML-файла». 

Высокий бюджет 

Высокий бюджет открывает дополнительные возможности: можно отдельно протестировать разные элементы объявлений, запустить больше тестов, настроить не две, а три и больше тестовых групп и увеличить выборку. 

При двух тестовых группах она может быть такой: 

А вот такой выборка будет при тестировании трех групп без изменения остальных настроек: 

Если у вас высокий бюджет, не забывайте про эффективность мероприятий. Не нужно допускать того, чтобы затраты были выше ожидаемого эффекта от тестирования. Свободные средства можно использовать в SEO или направить в другие каналы привлечения. 

Рекомендации по расчету выборки 

Вот несколько советов для правильного расчета репрезентативной выборки и получения показательного тестирования. 

• Будьте последовательны. Узнайте, кто представляет вашу целевую аудиторию, кому лучше показывать рекламу для достижения поставленных целей. Вы можете потратить бюджет из-за неправильного таргетинга и получить непоказательные результаты по тестовым группам. 
• Будьте терпеливы. Чтобы получить результаты, могут потребоваться 2 недели или несколько тысяч визитов. Не ждите небольших улучшений и тестируйте более крупные изменения. 
• Не забывайте о правилах подсчета выборки. Устанавливайте при расчетах высокий уровень достоверности данных. Уменьшение показателя снижает значимость результатов. 

Если вы помогаете клиентам с запуском контекстной и таргетированной рекламы, для вас важно эффективно управлять кампаниями. Подключайте аккаунты клиентов к Click.ru и получайте вознаграждение до 18% по партнерской программе.