Как достигнуть показателей эффективности и найти правильные цели для компании?

Жанна Рожкова

Команда SEOnews

Мы слишком увлечены сбором данных и отчетами по стандартным метрикам, потому что кто-то назвал их своими любимыми или заявил, что они самые подходящие. Иногда мы вырываемся из цепких лап этого субоптимального существования и выбираем действительно хорошие метрики для нашего бизнеса или проводим простенькое A/B тестирование. Но это не наша ежедневная работа.

Хотя ни для кого не является новостью тот факт, что любой бизнес должен проходить цикл Показатели— Гипотеза— Эксперимент — Действие. Неважно чего он касается — офлайна или онлайна. Однако такая структура используется далеко не в каждой компании.

Эта мысль возникла в голове у Авинаша Кошика, известного веб-аналитика, когда он читал книгу Lean Analytics, авторами которой являются Алистер Кролл (Alistair Croll) и Бенджамин Йосковитц (Benjamin Yoskovitz).

Книга посвящена описанию цикла Lean Analytics, который нацелен на создание модели решения основных проблем компании. В данной статье мы подробно рассмотрим каждый из шагов данного цикла, а также три кейса.

Цикл Lean Analytics достаточно простой процесс, состоящий из 4 шагов:

1. Мы находим, что нужно улучшить,
2. Придумываем гипотезу и эксперимент,
3. Проверяем,
4. Измеряем результаты и делаем выводы.

Цикл объединяет идею постоянного улучшения бизнес-процессов с основами аналитики. Он помогает увеличить эффективность того, что работает, отказаться от того, что нет, и изменить цели, если данные говорят, что они нам не подходят.

Схематично полный цикл выглядит так:

(кликните для увеличения)

Шаг 1. Находим то, что требует улучшения

Единственное, что не умеет данный цикл, — это понимать ваш бизнес. Это ваша работа — вы должны знать, какие аспекты бизнеса являются наиболее важными, и какие изменения следует сделать:

• возможно, увеличить показатель конверсии,
• или количество зарегистрированных и подписавшихся на рассылку пользователей,
• увеличить количество пользователей, которые будут расшаривать контент,
• или уменьшить показатель отказов для приложения,
• или даже привлечь больше клиентов в ресторан.

Главная мысль — это должен быть самый важный показатель для вашего бизнеса. Его можно найти, переговорив с генеральным директором, изучив бизнес-модель компании и т.д. Стоит помнить, что эта метрика привязана к KPI. Если, к примеру, KPI — число покупателей, то метрика — конверсия.

Поэтому берем листок бумаги и записываем три ключевые бизнес-метрики, которые хотелось бы изменить. Для каждой из них пишем параметры, которые мы измеряем, и показатели, которые покажут, что эксперимент прошел успешно.

Шаг 2. Формируем гипотезу

А теперь самое время для креатива. Эксперименты могут быть самыми разными:

• маркетинговая кампания,
• редизайн приложения,
• изменения в порядке установки цены,
• включение стоимости перевозки в цену,
• изменение привлечения пользователей,
• использование другой платформы,
• изменение призывов на кнопках,
• тестирование новой функции и т.д.

Если изначально нет данных для выдвижения гипотезы и создания эксперимента, тогда можно пробовать все что угодно.

• попытайтесь понять свой рынок. Проведите исследование, изучите обратную связь от пользователей, сделайте опрос.
• позаимствуйте идеи у конкурентов. Если кто-то делает что-то хорошо, имитируйте — это самая искренняя форма лести. Не нужно стараться быть другим только для того, чтобы отличаться.
• используйте лучшие практики. Читайте, как компании выстроили свой бизнес, и используйте эти истории для собственного вдохновения.

Если у вас есть данные, то выясните что общего и различного между пользователями, которые выполняют целевое действие. Например, вы пытаетесь уменьшить показатель отказов для своего приложения. Некоторые пользователи перестают использовать его через пару месяцев, а другие — продолжают. Что общего у пользователей каждой из групп? Что отличает лояльных пользователей ото всех остальных? Все они приходят из одного и того же источника? Они покупают одни и те же вещи?

В любом случае гипотеза вытекает из понимания своей аудитории, вопросов, которые вы им задаете, и осознания, что именно они хотят, что на них воздействует.

Слово «гипотеза» обозначает множество разных вещей, но в этом контексте лучше всего подходит следующее — обоснованное предположение, выдвигаемое как временное на основе личных наблюдений и уточняемое последующими экспериментами.

Итак, мы делаем обоснованное предположение, как мы можем улучшить наш KPI на основе того, что мы выучили в шаге 1.

Шаг 3. Создание эксперимента

Как только у нас есть гипотеза, нужно ответить на три вопроса, чтобы превратить ее в эксперимент.

1. Кто наша целевая аудитория? Все происходит только потому, что кто-то это делает. Итак, от кого мы ждем целевых действий? Все посетители или только часть? Правильная ли они аудитория? Можем ли мы их охватить? До тех пор пока вы не знаете тех, чье поведение пытаетесь изменить, вы их не привлечете.
2. Что они должны сделать? Ясно ли им, что вы просите их сделать? Могут ли они делать это с легкостью или что-то им мешает? Как часто они это должны делать?
3. Почему они это должны делать? Они сделают то, что вы просите, если это представляет для них ценность, и если они вам доверяют. Мотивируете ли вы их как следует? Какие призывы работают лучше всего? Почему пользователи делают это для ваших конкурентов?

На первый взгляд, эти вопросы — кто, что и почему — не кажутся сложными. Но на самом деле они такие. Потому что они требуют глубокого понимания своих пользователей/клиентов. В концепции Lean Startup (Бережливый стартап), это называется «развитие клиента». Схема эксперимента будет выглядеть практически всегда следующим образом:

«Выяснить, достигнем ли мы необходимого KPI, если кто-то сделает что-то по определенной причине».

Как только у нас продуман эксперимент, настраиваем аналитику на измерение KPI в противовес текущей основе и целям, которые выбрали. Затем запускаем сам эксперимент.

Шаг 4. Измеряйте и решайте, что делать

На данном этапе вы узнаете, был ли успешен ваш эксперимент. Вариантов несколько:

1. Эксперимент прошел успешно, вы герой. Отмечайте, а затем найдите следующую метрику, которая важна для бизнеса, и действуйте по схеме кто-что-почему.
2. Если эксперимент с треском провалился, нужно пересмотреть гипотезу. Самое время определить новые кто-что-почему на основе полученных данных. Помните, провал не является пустой тратой времени, если вы из него сделали выводы.
3. Если эксперимент дал информацию, но ее слишком мало, чтобы сделать четкие выводы относительно целей, нужно провести другой эксперимент. Гипотеза может быть правильной, и нужно попробовать еще раз, основываясь на данных, которые были получены.

Давайте рассмотрим несколько кейсов компаний, которые применили цикл Lean Analytics на практике. Полная информация о метриках, с которыми работали компании, неизвестна, и в некоторых случаях приходилось добавлять данные, чтобы сделать объяснение более понятным. Но даже с этими правками, примеры наглядно демонстрируют, как использовать цикл Lean Analytics в реальной жизни.

Кейс Airbnb

Airbnb — онлайн-площадка для поиска и краткосрочной аренды частного жилья по всему миру.

Шаг 1. Определяем метрики для улучшения

Метрика, которую хотела улучшить компания, был показатель количества ночей, на которые бралось в аренду жилье. Заметьте, такой показатель в большей степени связан со спецификой данного бизнеса, чем обычное измерение дохода — дела Airbnb идут хорошо, только если владельцы предоставляемых для сдачи домов живут хорошо, а для этого нужно, чтобы заявленное жилье арендовалось как можно чаще.

• метрика, которая имеет значение, — число ночей, на которое арендуется жилье,
• KPI — бронирование жилья,
• Цель — неизвестна,
• Текущий уровень — неизвестен.

Шаг 2. Формируем гипотезу.

Мы не знаем, как точно Airbnb сформировали гипотезу. Но мы знаем, что она имела отношение к спискам жилья, которое хорошо арендовалось.

• возможно, они заметили, что фотографии такого жилья выглядели более профессионально.
• возможно, они поняли, что арендаторы чаще всего жаловались на несовпадение фотографий арендуемого жилья и его реального вида.
• возможно, они заметили, что люди чаще всего отказываются от жилья после того, как посмотрят фотографии.
• возможно, они проанализировали данные с картинок, и заметили высокую корреляцию между часто арендуемым жильем и наличием профессиональных фотографий в его описании.

Как бы то ни было, но их гипотеза была примерно следующей — жилье с более привлекательными фотографиями арендуется гораздо чаще.

Шаг 3. Эксперимент.

Вооружившись гипотезой, компания запустила простой эксперимент. Параметры кто-что-почему были следующие:

• На кого нацелена кампания? На путешествующих, которые ищут жилье на Airbnb.
• Что они должны делать? Чаще арендовать жилье.
• Почему они должны это делать? Потому что фотографии профессиональные, и на них жилье выглядит более привлекательно.

Итак, эксперимент заключался в проверке гипотезы:

Можно ли увеличить число арендованных домов на Х%, если пользователи будут арендовать жилье на большее количество ночей из-за того, что дома выглядят привлекательнее за счет профессиональных фотографий.

Заметьте, что в данном случае Airbnb не нуждались в каких-то определенных данных для вывода гипотезы. Для проведения эксперимента и последующих выводов без данных уже не обойтись.

В течение эксперимента команда делала профессиональные и любительские фотографии жилья, затем измеряли KPI, сравнивали результаты по каждой группе.

Шаг 4. Измерение результата.

В данном случае Airbnb измеряли количество заказов для домов, которые содержали в описании профессиональные фотографии, и сравнивали их с показателями для домов, в описании которых были обычные фотографии, сделанные владельцами. Результат? Дома с профессиональными фотографиями арендовались в 2-3 раза чаще.

К 2011 году в штате компании было уже 20 фотографов. Результат:

Кейс Circle of Friends

Circle of Friends — социальное сообщество, которое позволяло пользователям создавать группу (круг) друзей и расшаривать контент внутри нее. Так как социальная сеть базировалась на пользовательском контенте, прирост юзеров осуществлялся, только когда они были вовлечены. Поэтому создатели сервиса хотели, чтобы пользователи не только создавали группы, но и писали сообщения внутри них, приглашали других пользователей и взаимодействовали с новостной лентой.

Шаг 1. Ищем метрики, которые необходимо улучшить

У команды было несколько показателей вовлечения — начиная наличием картинки в посте и заканчивая длиной поста, который они написали. Любые из этих действий были показателем вовлеченности. И из этого был выведен простой KPI — количество вовлеченных пользователей.

Несмотря на то что при запуске проекта к нему присоединились 10 миллионов пользователей, уровень вовлечения был относительно низкий. Ни одна из метрик, которые использовались для его измерения, не была на должном уровне.

Туманный показатель «уровень вовлеченности» — составной, включающий несколько параметров. Но одной из «четких» метрик, которые они отслеживали, было «число кругов с активностью», означающее, что внутри группы за последние несколько дней было несколько форм интеракций.

Итак:

• Метрика, которая наиболее важна: вовлеченность пользователей,
• KPI: число активных пользователей, число кругов с активностью,
• Цель: не разглашается
• Текущий уровень: менее 20 кругов активны после их создания.

Главной проблемой было увеличить вовлеченность. К счастью, команда Circle of Friends располагала достаточным количеством данных.

Шаг 2. Формируем гипотезу

У команды Circle of Friends было огромное количество информации о пользователях и о том, как они используют приложение. Они смотрели на две группы пользователей — те, которые были вовлечены, и те, которые не были. И сравнивали, что общего есть у этих двух групп. Другими словами, они пытались найти определение вовлечению, и сегментировали пользователей на две группы. Затем они сравнивали другие показатели, которые могут быть общими.

То, что они обнаружили, в дальнейшем изменило их бизнес: вовлеченные пользователи по большей части — это мамы. Статистика по таким пользователям существенно отличалась:

• сообщения длиннее на 50%,
• на 115% чаще прикладывают картинку к посту,
• на 110% чаще вовлекаются в разговоры,
• на 75% чаще кликают на уведомления,
• на 180% чаще кликают на посты в новостной ленте.

Просто располагать данной информацией недостаточно. Нужно знать, как ее использовать. В данном случае команда задалась вопросом «Что есть общего у вовлеченных пользователей?», и это повлияло на дальнейшую судьбу компании.

Они сформировали следующую гипотезу: «Если мы сфокусируем внимание только на пользователях-мамах, мы получим вовлечение, которое нам нужно».

Шаг 3. Создание эксперимента

Кто-что-почему были следующими:

• Кто — мамы,
• Что они должны делать — вовлекать других пользователей, приглашать их и создавать контент,
• Почему они должны это делать — потому что взаимодействие с другими пользователями будет для них привлекательным и полезным.

В конце концов, команда решила произвести ребрендинг компании — она превратилась в Circle of Moms и сфокусировалась на всем, что интересно для мам и вовлекает их.

Итак, гипотеза расширилась:

Можно ли увеличить число активных кругов и пользователей на Х%, если к группам присоединятся мамы и начнут вести в них активную деятельность, в связи с таргетингом сообщества исключительно на них.

Шаг 4. Результаты

Эксперимент длился несколько месяцев, т.к. он требовал полного перезапуска компании. Первым результатом стал огромный отток пользователей, несколько миллионов, т.к. далеко не все юзеры сервиса являлись мамами.

Команда ожидала такой реакции, они знали, что иначе получить необходимый уровень вовлеченности будет практически невозможно.

Если бы они сфокусировались на неправильном KPI, например, количество подписчиков, они бы быстро пришли к выводу, что эксперимент провалился. Но так как они обдуманно подошли в гипотезе, они знали, что самой важной метрикой должна быть вовлеченность. Оставшиеся пользователи были вовлеченными — общий уровень существенно подрос, что свидетельствовало о «здоровой» бизнес-модели.

Следующим экспериментом, который провела компания, была попытка увеличить аудиторию достаточно узкого сообщества. К концу 2009 года эксперимент закончился успешно — число пользователей выросло до 4,5 млн., сохранив требуемый уровень вовлеченности.

Кейс High Score House

High Score House — это сервис, позволяющий родителям и детям подсчитывать бонусы за выполнение разных дел по дому. По мнению разработчиков, родители и дети должны каждый день садиться вместе, смотреть, какие домашние дела выполнили дети и обсуждать награду, которую они могут получить.

Шаг 1. Ищем метрики, которые можно улучшить

На ранней стадии запуска самая важная метрика была количество семей, которые используют приложение, по меньшей мере, раз в день. Таких пользователей считали активными.

Итак:

• Метрика — активные семьи,
• KPI — % семей, которые использовали приложение за последние 24 часа
• Цель — более 60%
• Текущий уровень — менее 20%

Шаг 2. Формируем гипотезу.

Компания несколько раз проходила цикл Lean Analytics — но гипотезы не подтверждались:

• меняли интерфейс приложения,
• делали рассылку для пользователей,
• добавляли новый функционал.

Ничего из этого не работало, меньше 20% семей, которые установили приложение, заходили в него ежедневно.

Каждый раз их гипотеза напоминала нечто «если мы будем посылать родителям email с напоминанием каждый день, процент использования превысит 60%».

Шаг 3. Создание эксперимента

Команда High Score House ответственно проходила через все этапы Lean Analytics цикла. Схема «кто-что-почему» выглядела следующим образом:

• Кто — текущая база пользователей
• Что они должны делать — использовать приложение ежедневно
• Почему они должны это делать? — email-рассылка будет напоминать им о необходимости запустить приложение, что в итоге поспособствует выработке ежедневной привычки.

Другими словами, полная гипотеза была следующей:

Будут ли родители использовать приложение ежедневно, если email-рассылка будет напоминать им об этом, и будет ли этого достаточно, чтобы поднять процент ежедневного использования до 60%.

Эксперимент запустили.

Шаг 4. Измерение результата

Эксперимент не подтвердил гипотезу. Email-напоминания не увеличили существенно процент ежедневных пользователей приложения. Команда испробовала и другие гипотезы, но результаты были теми же.

В результате, команда решила провести телефонный опрос пользователей и получила ошеломительный инсайт — многие семьи используют один, определенный день недели для подсчета очков в приложении.

Получается, что приложение было все же полезным для пользователей, но они использовали его не совсем так, как предполагали разработчики. Однако новая информация использовалась не для нового эксперимента, а для того чтобы изменить цель.

Цель никогда не должна легко меняться. Это стоит делать только в том случае, если пользователи предоставили вам новую, подтвержденную информацию, которая позволяет это сделать. В данном случае, т.к. цель привязана к бизнес-модели, изменение цели меняет и бизнес-модель.

В данном случае HSH собирались изменить изначально задуманную суть приложения, чтобы оно больше подходило не для ежедневного, а для еженедельного использования. Изменив цель, команда получила новый KPI — процент семей, которые использовали приложение за последние 7 дней. И вместе с этим получили новые данные — более 80% текущих юзеров приложения использовали его раз в неделю.

Заключение

Мы рассмотрели три кейса. В первом был показан пример гипотезы и эксперимента, который проводился без данных. Во втором показан пример эксперимента с данными. В третьем показан пример, как исправить цели, если они не были поставлены правильно изначально. И все три примера показывают работу цикла Lean Analytics.

Цикл Lean Analytics — это основа, которая позволяет быстро проводить изменения в текущих целях и задачах, независимо от того, что вы знаете о пользователях, и как много данных у вас есть.

Несмотря на то что данная модель была изначально разработана для стартапов, благодаря ее скорости, получаемым выводам и возможности постоянного улучшения она подойдет бизнесу любой величины.

В цикле Lean Analytics могут встречаться «пробелы» в данных и неопределенность, но все равно, все подчинено четкой логике.

В шаге первом мы должны определить KPI, которые зададут направление дальнейшей работе. В шаге два необходимо тщательно выстроить гипотезу, от которой мы будем отталкиваться. Затем мы продумываем, как будет проходить эксперимент с пониманием переменных кто-что-почему. И наконец, измеряем результат и понимаем, все ли мы сделали правильно. Затем делаем выводы. И выигрываем.

По материалам Occam’s Razor by Avinash Kaushik