Аналитика поведения пользователей. Обзор онлайн-конференции UX-Марафон #25

Дорогая Редакция

Как понять, чего хочет пользователь 

Алексей Бородкин, Product Lead в компании Ozon, выступил на конференции с докладом «Чего хочет пользователь: как убедиться, что ваш продукт будет кому-то нужен». 

Пользователю от продукта нужны всего три вещи: 

• чтобы было полезно (ценность продукта); 
• чтобы было удобно (удобство пользования продуктом);
• чтобы было интересно (в продукте должен присутствовать определенный fun factor, или «душа»). 

В условиях монополии вполне достаточно уделять внимание только первой составляющей. На развивающемся рынке помимо этого необходимо заботиться об удобстве пользования. Однако на высококонкурентном рынке и этого будет уже недостаточно. Единственный способ выигрывать в условиях высококонкурентного рынка – «прокачивать» душу продукта. 

Чтобы не вкладывать время и ресурсы в стартап, который в результате окажется просто не нужен пользователю, развитие продукта необходимо строить в рамках HADI-цикла: 

• H (hypothesis) – ставим гипотезу; 
• A (actions) – реализуем гипотезу; 
• D (data) – получаем данные; 
• I (insights) – интерпретируем полученные данные.  

При этом интерпретация данных, завершающая HADI-цикл, может стать исходной точкой для нового цикла исследований. Например, представим, что мы попытались ввести в службе такси детский тариф, но идея не зашла. Однако анализируя, почему именно эта идея оказалась невостребованной, мы можем обнаружить материал для новых гипотез. 

Планируя исследование, мы всегда выбираем между количественными и качественными исследованиями. У каждой из этих групп исследований есть свои плюсы, минусы и сфера применения. 

В частности, количественные исследования хороши тем, что обладают статистической значимостью, хорошо демонстрируют преобладающие тенденции и дают возможность проверять гипотезы. Однако они достаточно сложны в проведении, требуют серьезного подхода и применения методов математической статистики. Даже небольшая ошибка, допущенная при проведении количественного исследования, может привести к неправильным выводам. 

Еще один серьезный недостаток количественных исследований – то, что они не отвечают на вопрос «Почему?». Ответ на этот вопрос могут дать только качественные исследования. Они не обладают статистической значимостью и не подходят для проверки гипотез, зато позволяют понять причины происходящих событий и сформулировать новые гипотезы. Поэтому проводить качественные исследования необходимо постоянно, и начинать их желательно как можно раньше, тем более, что они отличаются от количественных относительно низким порогом входа – самые первые качественные исследования можно делать практически «на коленке». 

При запуске нового продукта необходимо начинать с ценностных исследований.  

Главные правила стратегического исследования:

• мыслить гипотезами; 
• помнить, что проверять стратегические гипотезы сложнее всего; 
• помнить, что стратегические решения без исследований – путь в могилу. 

На этапе решений мы проверяем удобство пользования продуктом. Что касается души продукта, то проверить ее можно только со временем по таким косвенным показателям, как LTV, виральность и ретеншн. NPS (индекс потребительской лояльности) – не самый подходящий инструмент для оценки души продукта, но его можно использовать, если нет альтернативы. 

Глобальные правила исследования от Алексея Бородкина: 

• Матстат – это кровь, эмпатия – хлеб. В количественных исследованиях цена ошибки слишком высока, поэтому самое главное здесь – корректное использование методов математической статистики. В качественных исследованиях самое главное – эмпатия. 
• Вовлечение команды. Исследования – это не привилегия избранных специалистов. Подключайте к исследованиям всех членов команды.
• Не стесняться простых исследований, не бояться сложных. Не нужно стесняться простоты исследований «на коленке». Для того, чтобы просто пообщаться с пользователем, не нужно больших расходов или усилий, но результаты от этого менее ценными не становятся. 

Аналитика в большом продукте 

Анастасия Ермолаева, специалист по исследованию пользовательского опыта (Контур), рассказала, как аналитика помогает продукту и команде, как выстроить систему сбора данных внутри продукта и что делать, когда данных много, а вас – нет. Также Анастасия поделилась особенностями подхода к разработке новых фич и поддержания действующих. 

Анастасия работает с продуктом «Экстерн» – сервисом для сдачи отчетности юрлицами. Продукту уже 20 лет, его основные особенности: 

• сложная система; 
• много конкурентов; 
• высокая цена ошибки (через «Экстерн» сдается много регламентной отчетности). 

Чтобы снизить риск, в команде выработали свои правила «техники безопасности»: 

• не выпускать обновления в последние дни отчетности;
• не релизить по пятницам. 

Аналитика помогает команде «Экстерна»: 

1. Определять потребности не только из общения с пользователями:

• понимать, в каком направлении развивать фичу;
• находить узкие места и точки роста в продукте. 

2. Оценивать масштаб проблемы: 

• приоритизировать задачи. 

3. Формировать выборку для исследования или эксперимента. 

4. Выпускать фичи с учетом всего продукта (взаимодействие разных частей сервиса между собой). 

5. Держать руку на пульсе – отслеживать и предотвращать факапы. 

6. Измерять. 

Проблемы (почву для гипотез и предположений) находят в следующих каналах: 

• интервью, ЮТ, общение с пользователями, ежеквартальные опросы;
• ОС в сервисе; 
• данные продукта; 
• техническая поддержка;
• маркетинг и продажи;
• законодательство; 
• конкуренты. 

Вот как, к примеру, организована работа с обращения от пользователей через техподдержку. На каждой странице продукта есть форма обратной связи. По умолчанию обратная связь уходит в техподдержку, но периодически исследователи анализируют ее с помощью внутреннего продукта Feedback aggregator. 

Кроме того, ежеквартально проводятся опросы пользователей. Ответы разбиваются по сегментам: 

• корпоративный; 
• обслуживающий; 
• массовый. 

Чтобы понять, как пользователи используют продукт, данные о поведении пользователей отправляют в ClickHouse, где есть возможность разбирать пользовательские сессии: кто, когда и что делал.  

Фичи подключают очень аккуратно, с использованием фича-флагов, которые позволяют включить или выключить фичу определенным пользователям. 

После релиза следят за алертами, обращая внимание на отказы по определенным отчетам или аномальный рост обращений в техподдержку по тем или иным темам. Позднее, когда изменения в продукт по итогам обращений внесены, обязательно замеряют результаты, чтобы понять, насколько полезны были эти изменения. 

Например, в какой-то момент пользователям было не ясно, как добавлять в программу организации в «Экстерне». Чтобы решить эту проблему, в продукте сделали подсказки и онбординг. В результате количество обращений по этой теме заметно снизилось: 

Мы представили краткие конспекты двух из восьми выступлений на онлайн-конференции UX-Марафон #25 | Аналитика поведения пользователей.