×
Россия +7 (495) 139-20-33

Почему необходимо А/В-тестирование страниц и как его провести

Россия +7 (495) 139-20-33
Шрифт:
0 17284

Любой развивающийся продукт так или иначе сталкивается с проблемами или задачами, которые можно решить несколькими путями. И правильность решения можно проверить только с помощью эксперимента и сравнения результатов всех предложенных вариантов решения.

А/В-тестирование проводится для проверки изменений интерфейсов сайтов. В чем его суть? Части аудитории показывается оригинальная страница, части – страница с изменениями. Система А/В-тестирования собирает данные по конверсии со всех вариантов страниц, по результатам подсчитывает статистическую достоверность различия конверсии. В итоге А/В-тест показывает нам эффективный вариант, который можно внедрить.

Чаще всего гипотезы для тестов появляются из:

  • поиска путей для оптимизации отдельных шагов воронки конверсии;
  • анализа результатов исследований пользовательского опыта;
  • споров продуктовой команды о развитии продукта или отдельного функционала;
  • отзывов и обращений пользователей о неудобстве продукта;
  • поиска путей получения корректных данных, вводимых пользователями на сайте.

Возможны и другие варианты обоснования проведения А/В-тестов. Например, при запуске новой версии продукта мы захотим убедиться, что обновления пошли на пользу, и она не проигрывает старой.

Часто забывают еще одну важную задачу А/В-тестов – возможность заранее проверить эффективность предложенного варианта и оценить рентабельность внесения изменений на боевой версии сайта или подготовки необходимого контента. Например, что чем больше качественного и релевантного контента будет на карточке товара в интернет-магазине, тем больше его будут добавлять в корзину и потенциально покупать. Но возможно, что производство и актуализация такого контента будет стоить больше, чем это принесет профита компании.

По сути, A/B-тестирование – это единственный вариант убедиться в том, какие изменения точно нужно внедрять. Но и он не лишен различных подводных камней.

Так, из-за широкого выбора систем может возникнуть проблема с выбором оптимальной. А переходить попеременно по нескольким системам – потеря времени и остановка в развитии продукта. Из-за этого может возникнуть ощущение, что начать проводить тесты – сложная задача и требует много свободного времени. Но, попробовав раз, вы поймете, что этот инструмент просто необходим для проверки всех изменений до момента внедрения.

В сети можно найти большое количество статей о сравнении систем А/В-тестирования. Но они или написаны давно и утратили актуальность, или подготовлены одной из систем и могут быть не совсем объективны. В этом материале хочется поделиться своим опытом в выборе системы проведения А/В-тестов. При этом у нас нет цели сравнить несравнимое или найти маловостребованные особенности систем и настаивать на их необходимости. Скорее это будет сравнение и выбор на основе опыта использования разных систем на большом количестве проектов.

Надеемся, что наш опыт поможет выбрать систему, которая решит ваши задачи. И, применив наработанное знание о своем продукте, после серии А/В-тестов вы получите более конверсионный и удобный пользователям интерфейс. Или, возможно, вы решите попробовать новую для вас систему А/В-тестирования и не будете тратить время на поиски той, которая подойдет именно вам.

Что важно для выбора системы

Основываясь на своем опыте, мы выделили несколько ключевых критериев, на которые стоит обратить пристальное внимание при выборе.

1. Возможности запуска тестов

1.1. Наличие всех возможных типов тестов: А/В/N и MVT для проверки локальных гипотез, Split (редирект) – для сравнения новой и старой версии сайта

На текущий момент все системы позволяют запускать все варианты тестов, и это не самый критичный пункт в сравнении. Скорее, странным может показаться отсутствие или ограничения в использовании какого-либо типа тестов.

1.2. Возможность и легкость тестирования набора страниц.

Зачастую необходимо протестировать изменения или всего каталога интернет-магазина, или одного элемента (например, стоимости) на всех страницах воронки конверсии.

1.3. Виды таргетингов для запуска тестов: как базовые возможности вида URL страниц с учетом get параметров/utm метки/типы устройств, так и более точечные – вида значения js переменной/значение cookie.

Обычно в тесте вносятся изменения для всех, кто зашел на страницу. Но при тестировании специфического функционала не для всех пользователей, например, начисления баллов программы лояльности, пригодится весь набор возможных таргетингов для отделения необходимой аудитории.

1.4. WYSIWYG редактор и возможность изменения JS/CSS.

WYSIWYG редактор и возможность изменения JS CSS.png

С одной стороны, надежнее сверстать новую версию страницы, настроить редиректы и полностью подготовить новую страницу на сайте. С другой – быстрая проверка несложных изменений приоритетнее, поскольку позволяет в перспективе запустить безостановочный конвейер тестирования и постоянного увеличения конверсии.

2. Техническая составляющая

2.1. Размещение системы на сайте с использованием Google Tag Manager

Возможно, излишний пункт, но мы привыкли использовать GTM и стараемся использовать его возможности по максимуму для объединения всех трекеров в одном месте.

2.2. Возможность интеграции с системами веб-аналитики для получения дополнительных срезов данных.

По нашему опыту, бывают тесты, которые по-разному влияют на различные сегменты аудитории. Например, при показе прогноза погоды на калькуляторе страхования выезжающих за рубеж, взрослые пользователи могут конвертироваться лучше оригинала страницы; молодые – наоборот. Смотря на агрегированные данные по всем сегментам в совокупности, может получиться, что различий в конверсии нет. Но просматривая результаты в разных срезах, можно найти положительный результат и внедрить его для релевантной аудитории.

3. Подведение результатов тестов

3.1. Возможность задать несколько показателей для подведения результатов тестирования.

3.1 Возможность задать несколько показателей для подведения результатов тестирования.png

Например, если в интернет-магазине переводить всех зашедших пользователей в раздел товаров со скидкой, то, скорее всего, конверсия в заказы увеличится. Но средний чек при этом упадет. В такого рода тестах удобно иметь возможность при подведении результатов проверить все критичные показатели эффективности в одном отчете.

3.2. Удобство и простота настройки отслеживания показателей для подведения результатов тестирования.

3.2 Удобство и простота настройки отслеживания показателей для подведения результатов тестирования.png

Адекватное тестирование начинается с определения KPI, который необходимо улучшить. И только после этого стоит начинать поиск гипотез тестирования и непосредственно тест. Поэтому важно, чтобы отслеживание необходимых KPI в системе тестирования было удобно реализовано.

3.3. Дополнительные инструменты для анализа.

Часть систем имеет встроенные карты кликов, опросы или иной функционал, который может пригодиться как для анализа результатов проводимых тестов, так и для дополнительных исследований.

4. Стоимость использования системы

4.1. Бесплатная или платная система.

Большая часть систем являются платными и тарифицируются в зависимости от ежемесячного количества тестируемых пользователей.

Поскольку А/В-тестирование само по себе не монетизируется, а лишь позволяет проверить и подсчитать возможную монетизацию, хочется, чтобы использование системы ничего не стоило. Кроме того, большая часть систем не имеют отечественных офисов, что вызывает сложности при оплате в валюте и обмене документами.

Нельзя сказать, что обозначенный список включает в себя все возможные критерии сравнения. Скорее это необходимый минимум, который стоит ожидать от системы А/В-тестирования.

Сравнение систем А/В-тестирования

Мы подготовили таблицу, где свели результаты сравнения по обозначенным в предыдущем разделе критериям и приписали каждой системе баллы для подсчета итогового результата.

В зависимости от конкретного проекта вес критериев может быть различным. Но для простоты сравнения в статье мы позволили себе перевести все в цифры. Если система отвечает критерию, присваиваем ей 1 балл, не отвечает – 0 баллов. Если система отвечает критерию и имеет дополнительный плюс по критерию, присваиваем 1,5 балла.

Подсчитываем проставленные системам баллы и получаем итог:

  1. Visual Website Optimizer: 11 баллов

Visual Website Optimizer.png

Система покрывает все базовые потребности проведения А/В-тестирования и имеет дополнительный функционал для анализа данных. Система платная, но тарифы достаточно гибкие, и стоимость ниже других систем.

Основные плюсы системы:

  • дополнительные инструменты анализа (карты кликов, скроллинга, видеозаписи посещений и т.д.).

Основные минусы:

  • система платная (от $49 / месяц за 10 000 пользователей);
  • необходимость размещения кода без GTM и отдельные трекеры дохода.

Если в вашем проекте нет привязки к аналитическим системам Google, то вам подойдет VWO. А если по каким-то причинам у вас нет возможности использовать Яндекс.Метрику, то VWO предоставит вам дополнительные возможности по поиску идей для тестов.

  1. Google Optimize: 10 баллов

Google Optimize.png

Система покрывает все базовые потребности проведения А/В тестирования. Отлично подойдет тем, кто уже активно использует аналитические системы Google: систему можно запустить через GTM и использовать показатели Google Analytics в виде целей тестирования Optimize.

Основные плюсы системы:

  • бесплатная, с небольшими ограничениями (например, не более пяти активных тестов одновременно);
  • простой запуск системы через GTM и полная интеграция с GA (как с отчетами, так и с конверсиями для подсчета в тестах);
  • возможность таргетировать тест по данным в dataLayer GTM.

Основные минусы:

  • сложность с тестированием набора страниц: максимально удобен лишь для тестирования изменений одного и того же блока на разных страницах.

  1. Optimizely: 9 баллов

Optimizely.png

Система покрывает все базовые потребности проведения А/В–тестирования. Основной минус – высокая стоимость (от $2 тыс. в месяц). И кроме этого, у системы нет службы поддержки в России, поэтому начать работу с этой системой непросто: зачастую представителей компании приходится уговаривать поработать с вами.

Основные плюсы системы:

  • простота и удобство тестирования последовательности страниц – под них выделен отдельный тип тестов.

Основные минусы:

  • необходимость размещения кода без GTM и отдельные трекеры дохода;
  • платная, с индивидуальными ценами.

  1. Convert: 10 баллов

Convert.png

Система покрывает все базовые потребности проведения А/В-тестирования. Достаточно сбалансирована по своим возможностям.

Основные плюсы системы:

  • система платная (от $449 / месяц за 800 000 пользователей).

Основные минусы:

  • необходимость размещения кода без GTM и отдельные трекеры дохода.

  1. Google Analytics: 3 балла

Google Analytics.png

Система устарела и по своим возможностям уступает любой другой системе А/В-тестирования. В планах Google – полностью заменить тесты Google Analytics на Google Optimize.

Основные плюсы системы:

  • возможность использования данных GA;
  • бесплатная.

Основные минусы:

  • все остальное.

В своей работе мы остановили выбор на Google Optimize. Основные причины: во-первых, мы используем весь стек аналитических систем Google, во-вторых, система имеет бесплатную версию.

Visual Website Optimizer имеет ряд плюсов, особенно в смежном функционале для анализа данных. Но его прямые аналоги есть в Яндекс.Метрике и платить за это не стоит.

Любой вопрос сравнения возможностей не может быть однозначным и объективным. Мы поделились своим опытом, но, возможно, в иной ситуации важными будут другие факторы, и лучшим выбором будет система, которая нам не подошла. В любом случае выбор за вами.

Для сравнения можете посмотреть G2 Crowd A/B Testing Software quadrant и отзывы пользователей о различных системах. Однако будьте внимательны, в этом сравнении участвуют не только системы А/В-тестирования, но и системы персонализации контента.

G2 Crowd AB Testing Software quadrant.png

(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
#SEOnews14: мы празднуем – вы получаете подарки!
Анна Макарова
0
комментариев
0
читателей
Полный профиль
Анна Макарова - Гость, добрый день! С победителями мы связывались сразу после розыгрыша. Если мы вам не написали, значит, ваш номер не выпал. Но не расстраивайтесь, у нас обязательно будут новые розыгрыши!
Google Data Studio: делаем красивые отчеты по контекстной рекламе для клиентов
Светлана Зубрицкая
1
комментарий
0
читателей
Полный профиль
Светлана Зубрицкая - Нужно убрать пробелы между строк и заменить кавычки на вот такие "
Как ускорить сайт на WordPress, чтобы получить 100/100 в Google PageSpeed Insights
Георгий
1
комментарий
0
читателей
Полный профиль
Георгий - Все что рекомендуется в этой статье есть у w.tools. Ни разу не пожалел что подключился. Своя CDN сеть, кеш статики и динамики, минификация js\css и кешируемого html, оптимизация всех типов картинок и еще куча всего полезного. Сайт летает и я не знаю проблем. Могу рекомендовать от души.
Война с дубликатами. Как нужно и как не нужно канонизировать URL
Ann Yaroshenko
5
комментариев
0
читателей
Полный профиль
Ann Yaroshenko - Дмитрий, добрый день! Если вы проставили на странице с автозапчастями rel=canonical ( а я вижу в коде, что не проставили) или в HTTP хедере, то бот, как правило: выберит ту страницу главной, которую вы указали в rel=canonical ссылке. Eсли же вы этого не сделали, то бот сам выберит оригинал (алгоритмы, по которым бот это делает, скрыты Googl-ом)
«Аудит, чтобы ты заплакала…», или Что делать, когда получил сторонний аудит сайта
Евгений
1
комментарий
0
читателей
Полный профиль
Евгений - Воообще, на самом деле здесь двоякое впечатление от таких аудитов. Конечно, для полного глубокого анализа и подготовки рекомендаций по сайту - нужны доступы к системам аналитики и инструментам вебмастера. Но если оценивать подобные аудиты с точки зрения чистого SEO (которое все больше и больше становится лишь малой частью digital-маркетинга, лишь одним из каналов) - они имеют место быть. Но с оговоркой, что они сделаны с учетом анализа конкурентов/отрасли. Современные инструменты и алгоритмы позволяют делать это маркетологам в автоматическом режиме, и даже давать рекомендации - возможностями машинного обучения уже никого не удивишь. Да, полное перечисление "мифического" списка ошибок, построенного по предикативным правилам, да еще и с учетом устаревших особенностей ПС - это явный признак некачественного аудита. В первую очередь потому, что эти "ошибки" следует рассматривать в качестве рекомендаций от ПС (как и говорится в справочнике вебмастера у Яндекса/Google). Однако если эти данные даются с отсылкой на данные о конкурентах, об отрасли, используются методы ML и Natural language processing для обработки исходных данных, кластеризации запросов, классификации страниц/запросов/сайтов, определения структуры документа - такие отчеты имеют право на существование. Но ключевым моментом является то, что подобные инструменты достаточно сложны в разработке, а значит требуют квалифицированных специалистов для их разработки. Которых просто нет у студий рассылающих подобные "сео отчеты". Подобные отчеты по "ошибках" тоже неплохой источник информации, но лишь на 0 этапе анализа сайта. И в принципе, теоретически, возможно почти полное составление "хороших аудитов" без участия маркетолога, на основе лишь открытых данных сайта/внешних источников, но только при соответствующем применении всех современных возможностей анализа данных и рекомендательных систем. И в любом случае подобный "хороший отчет" требует конечного заключения от эксперта.
От мечты стать юристом к собственному SMM-агентству. Как найти себя в современном цифровом мире
Виктор Брухис
5
комментариев
0
читателей
Полный профиль
Виктор Брухис - Статья выглядит так, как пожелали редакторы и интервьюер) Вопросы к интервью подбирал не я)) Хотя, в целом я согласен с вашим видением. А за пожелание удачи большое спасибо!
BDD 2019: Как перестать убивать время на сбор и обработку тонны данных для SEO-аудита
Kosta Bankovski
4
комментария
0
читателей
Полный профиль
Kosta Bankovski - Спасибо за приятные слова! Буду и дальше делиться наработками ;)
Как провести анализ содержания страниц товаров и категорий
Никита Седнин
3
комментария
0
читателей
Полный профиль
Никита Седнин - Спасибо!
Как вывести сайт в ТОП 10 Google в 2019 году
Ирина
8
комментариев
0
читателей
Полный профиль
Ирина - Работают. Как естественные, так и закупные. >Мои сайты в первую очередь заточены на яндекс Соболезную. >Насколько поисковые алгоритмы с гугловскими у него. Разница в 10 лет. Вон в Яше все долбят на ключи, на вхождения и прочий трэш из древностей. А у Гугла, вон почитайте про eat, ymyl Не все понятно но спасибо за ответы. Я так понимаю что с ссылками деть никто точно не знает) Ну это и хорошо вообщем. Самому разбираться как то интересней. Но не всегда. Есть к примеру 2captcha.com/ru и на него 100к ссылок есть. Ну а смысл какой?
Как я пытался купить CRM-систему, но мне ее поленились продать
Kristina
1
комментарий
0
читателей
Полный профиль
Kristina - Очень рекомендую CRM-систему польской фирмы Firmao. Все функции настраиваются в соответствии с индивидуальным потребностям компании! Советую попробовать бесплатную демо-версию, чтобы попробовать все необходимые функции, без лишних кнопок и траты дополнительных финансов! :) Сайт: firmao.ru/info
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
360
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
107
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
79
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!