Россия+7 (495) 960-65-87

Когда мультивариантные тесты лучше A/B-тестов?

Россия+7 (495) 960-65-87
Шрифт:
7 16687

Для оптимизации сайта и страниц A/B-тестирование – инструмент по умолчанию. Разберем, что такое мультивариантные тесты и когда они лучше A/B/n…

Что такое мультивариантный тест?

В A/B-тестах обычно сравнивают два варианта, которые значительно отличаются друг от друга. Это выглядит так:

abtesting-conversion.jpg

Мультивариантное тестирование измеряет эффект от взаимодействия независимых элементов, чтобы выявить наилучшую комбинацию. Как если бы вы проводили несколько A/B-тестов на одной странице одновременно.

При помощи A/B-тестов можно сравнить дизайнерские решения и получить значительные результаты (так как тестируемые варианты значительно отличаются друг от друга).

МВТ помогут выявить элементы влияния, которые помогут добиться цели. Например, что имеет значение: шаблон страницы, изображения или CTA.

multivariate-testing.jpg

Убойный заголовок останется незамеченным, если крутая фотография привлекает внимание к другому элементу на странице.


A/B-тесты подходят для крупных изменений. 

Поиграть цветами и шрифтами – это к мультивариантному тестированию.


Таким образом, сначала определяемся с лучшим вариантом при помощи A/B-теста. А затем проводим МВТ, чтобы оптимизировать заголовки, тексты на кнопках и так далее.

Типы МВТ

Виды мультивариантных тестов: полный (full factorial), частичный полный (fractional factorial) и тест Тагучи (Taguchi).

1. Полный тест. Весь трафик распределяется между вариациями. Например, из 16 проверяемых комбинаций каждая получит 1/16 трафика сайта. Так как варианты получают одинаковый трафик, тест предоставит информацию о том, какая комбинация приносят лучший результат.

2. Частичный полный тест. Посетители сайта увидят только часть тестируемых комбинаций. Процент конверсии для «невидимых» вариаций принимается за аналогичный определенным комбинациям, которые были включены в тест.

full-fractional-versus-fractional-factorial.png

В блоге Adobe частичный мультивариантный тест сравнивают с барометром. Ценность барометра не в точном измерении атмосферного давления, а в указании на изменение.

3. Тест Тагучи. Изначально использовался в промышленности. Выводы сделали для сокращения количества вариантов, которые тестировали в ходе QA и других экспериментов. Основан на эвристических оценках и не подходит для онлайн-тестов. 

Как правильно

Ошибки, связанные с проведением МВТ, неуникальны и справедливы для A/B-тестов.

Основные:

1) мало трафика;

2) не учитывать вероятность ложноположительных результатов;

3) не использовать МВТ для оптимизации сайта.

1. Трафик.

Главное условие: много трафика или высокая конверсия.

Например, типичный МВТ – 3 х 2 (проверка двух версий трех элементов дизайна) потребует столько же трафика, сколько A/B-тест с 9 вариантами (32).

mvt3-2.jpg

В полном тесте трафик делится между всеми вариациями, что увеличивает необходимое количество трафика для получения показательной статистики. И тест проводить придется дольше. Чтобы оценить трафик, необходимый для значимого результата, используйте калькулятор.

Чтобы снизить потребность в трафике при МВТ, проводите частичный тест.


Правило: если ваш трафик меньше 100 000 уников в месяц, проводите A/B-тест. 

Исключение – высокая конверсия (10%-30%).


2. Вероятность ложноположительных результатов.

В процессе мультивариативного тестирования возрастает вероятность ложноположительного результата.

Для каждого варианта вы проводите отдельные A/B-тесты. Если вы проверяете 20 изменений и есть 5% вероятность, что для каждого вы получите ложнопозитивные результаты, то одна вариация внезапно может оказаться значимой.

Способы срабатывать с погрешностями называют корректировками мультитестирования. Чтобы получить заметный результат, потребуется большое количество посетителей на сайте.

3. МВТ и оптимизация.

Оптимизация требует информации для обоснования решений. МВТ поможет собрать данные.

Чем меньше времени вы тратите на принятие решений, тем выше ROI. Чем быстрее вы двигаетесь, тем быстрее подниметесь на новый уровень. Используйте МВТ как инструмент сбора данных, который показывает, куда направить ресурсы.

Обязательно определите, чего вы ожидаете от МВТ: выявить лучшую комбинацию элементов или определить, какой элемент (заголовок или кнопка) работает лучше прочих?

Инструменты

Итоги

1. Тестируйте, чтобы собрать данные для решения об оптимизации сайта.

2. Если трафик на сайт меньше 100 000 уников в месяц, проводите A/B-тест. Исключение – высокая конверсия (10%-30%).

3. Используйте A/B-тесты, чтобы определить лучшую структуру. Используйте МВТ, чтобы довести ее до совершенства, убедиться, что элементы взаимодействуют лучшим образом.

(Нет голосов)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Даниэл Херени
    5
    комментариев
    0
    читателей
    Даниэл Херени
    больше года назад
    Лайки в комментах к статье вылились в совместную акцию с SEONews.ru
    Вот тут условия акции по МВТ - www.seonews.ru/events/spetsproekt-multivariativnoe-testirovanie-vashego-sayta-sobiraem-zayavki/  
    -
    0
    +
    Ответить
  • Daniel Hereni
    3
    комментария
    0
    читателей
    Daniel Hereni
    больше года назад
    У конвра уже есть реальные кейсы.
    Вот один из них - directcalls.ru/multivariativnoe-testirovanie-dlya-insales-ru/
    Для платформы Insales.ru (платформы для создания интернат магазинов) было протестировано 1 500 000 уникальных вариаций посадочной страницы (МОРДЫ).
    Конверсию подняли на 23%
    -
    28
    +
    Ответить
    • Roman Tsapin
      2
      комментария
      0
      читателей
      Roman Tsapin
      Daniel Hereni
      больше года назад
      Подтверждаю! В результате тестирования нашли наиболее конверсионную комбинацию, которая сейчас используется как основная.
      -
      3
      +
      Ответить
  • Daniel Hereni
    3
    комментария
    0
    читателей
    Daniel Hereni
    больше года назад
    Фишка сервиса в том, что он на много круче, чем выше перечисленные инструмены для МВТ!
    Т.к. позволяет тестировать одновременно ни 10-20 вариантов.
    А десятки вариаций по десяткам факторов. Т.е. одновременно можно тестировать от 100 000 до 100 000 000 вариаций. Для успешного тестирования достаточно накопить 1000 конверсий!!!
    Для большого сайта это совсем не много!

    -
    24
    +
    Ответить
  • Daniel Hereni
    3
    комментария
    0
    читателей
    Daniel Hereni
    больше года назад
    Спасибо за интересную статью! Жаль не сразу увидел её.

    Существует такой сервис МультиВариативного Тестирования (МВТ), как konvr.ru
    Его разработчик Евгений Трофименко всем известны сеошник и парсер Яндекса и авто tools.ptomosite.ru (думаю, что любой сеошник хоть раз в жизни проверял Апдейты яндекса на тулс.промосайте).
    -
    22
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Сколько ссылок помогут продвинуть молодой сайт
Павел Андрейчук
38
комментариев
0
читателей
Полный профиль
Павел Андрейчук - Дело в том, что вряд ли в ваших платных "качественных" кейсах найдётся хоть пару % действительно новой и полезной информации которой бы не было на общедоступных источниках.
Сайт на WordPress: за и против
Мира Смурков
1
комментарий
0
читателей
Полный профиль
Мира Смурков - Людмила, я согласен с большинством комментаторов. Вы хоть один полноценный магазин сделали на этих движках? Woocommerce это система с супер возможностями. И к ней есть дополнительные модули, с функционалом, который вряд ли появиться на Битрикс. А самому это программировать - сотни тысяч рублей на разработку. А приведя в пример сложности с robots.txt и Sitemap вы ставите под вопрос вашу компетенцию в понимании Интернет-бизнеса и веб-разработки в целом. Во-первых это такие мелочи, а во-вторых это все делается на вордпресса за 2 минуты, и опять же с возможностями многократно превышающими Битрикс.
Обзор популярных CMS: плюсы и минусы
Андрей Литвиненко
2
комментария
0
читателей
Полный профиль
Андрей Литвиненко - + там где нужно прописать каноникал, там где нужно поставить мета тег ноиндекс (т.к. Гугл не всегда следует правилам robots.txt) ну и то что выше, к техническим сео возможнлстям можно еще отнести легкое и хотя бы полуавтоматическое добавление микроразметки по сайту, увы "из коробки" такого функционала нет ни в одной cms, все на допиливаниях
Google обошел Яндекс по популярности в России в 2018 году: исследование SEO Auditor
Рамблер
1
комментарий
0
читателей
Полный профиль
Рамблер - Вот вроде отечественный - это сказано верно.. «Я́ндекс» — российская транснациональная компания, зарегистрированная в Нидерландах. Так говорится в Википедии. И с хрена ли ОТЕЧЕСТВЕННЫЙ поисковик зарегистрирован в Европе? И где платится основная часть налогов? Ну-ууу, точно не в России. И если запахнет жаренным, то был Яндекс и нет Яндекса!
8 методик в SEO, от которых давно пора отказаться
Евгений Сметанин
12
комментариев
0
читателей
Полный профиль
Евгений Сметанин - Факторов вообще очень много, согласитесь, вы будете использовать максимальное их количество, особенно, если в ТОПе засели агрегаторы с сумасшедшими ПФ. В таких случаях, вхождение ключа в домен для маленького профильного сайта, сыграет свою положительную роль. Конечно же, если контент на страницах хорошего качества. У меня есть несколько успешных кейсов на эту тему. На сайте продают несколько видов товаров, а выстреливает в ТОП тот, название которого присутствует в доменном имени. Как корабль назовешь, так он и поплывет, верно?))
Google Data Studio: делаем красивые отчеты по контекстной рекламе для клиентов
Сергей Провоженко
7
комментариев
0
читателей
Полный профиль
Сергей Провоженко - Добрый день, Сергей. Рад, что статья оказалась полезной. Алгоритм следующий: 1) В Гугл таблице формируем нужную структуру для выводы комментариев, в нашем отчете это следующие столбцы - i.imgur.com/mEnt7Hv.png Можно оставить один из столбцов страница или название страницы, они нужны чтоб фильтровать вывод нужно комментария на нужной странице отчета. Столбец дата нужен для выводы комментария в нужны период. 2) Подключаем эту таблицу как еще один источник данных - i.imgur.com/GrmNAgp.png Вот так выглядят поля из этого источника данных - i.imgur.com/BHqEiv7.png 3) Добавляем элемент "Таблица" в отчет Дата Студио, в качестве источника указываем нашу Гугл таблицу со следующими параметрами - i.imgur.com/tovqiqE.png 4) Создаем и добавляем фильтр для вывода нужно комментария на нужной странице отчета - i.imgur.com/4m141kF.png 5) Если дата комментария попадает в выбранный период в отчете он будет отображен. Если в период попадает несколько дат, будет выведено несколько комментариев - i.imgur.com/1jWu0X6.png Если остались вопросы - пишите, постараюсь помочь.
Инструкция: настраиваем цели Яндекс.Метрики через Google Tag Manager
Roman Gorkunenko
1
комментарий
0
читателей
Полный профиль
Roman Gorkunenko - Здравствуйте. Подскажите, пожалуйста, можно с айпи метрики вытащить среднюю стоимость клика по утм меткам? В метрике есть такой шаблон tags_u_t_m, но он не совместим с меткой директа, у них разные префиксы.
Аудит структуры интернет-магазина мебели от «Ашманов и партнеры»
Дмитрий
11
комментариев
0
читателей
Полный профиль
Дмитрий - Сергей, а вы допускаете, что вся ваша жизнь - seo-миф?
Как выбрать подрядчика для продвижения сайта: 7 уровней воронки поиска
aashutosh
1
комментарий
0
читателей
Полный профиль
aashutosh - data science training institute in noida- Webtrackker Technology (8802820025) providing Data Science Training in Noida. Get ✓ 40 Hours Learning training✓ 70 Hrs Projects ✓ 24 X 7 Support ✓ Job Assistance. WEBTRACKKER TECHNOLOGY (P) LTD. C - 67, sector- 63, Noida, India. E-47 Sector 3, Noida, India. +91 - 8802820025 0120-433-0760 +91 - 8810252423 012 - 04204716 EMAIL:info@webtrackker.com webtrackker.com/Best-Data-Science-Training-Institute-in-Noida.php
Как построить качественный ссылочный профиль на основе конкурентов
Ирина
2
комментария
0
читателей
Полный профиль
Ирина - Давно сотрудничаю с megaindex.com и считаю данный сервис одним из лучших в сео сегменте рунета да и не только рунета. Пользуюсь их инструментами для аналитики своих работ и выявлению своих и чужих ошибок. Да и ссылочный профиль, как и говорится в данной статье сделать гораздо проще и правильней при помощи как раз мегаиндекса. Добавлю еще что инструмент для поиска конкурентов у мегаиндекса очень удобный и простой в применении.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
345
Комментариев
262
Комментариев
247
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
101
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!