У кого Look-a-Like длиннее? Сравнение DSP и DMP на примере одного ecommercre-проекта

На прошедшей еще в мае конференции по programmatic buying мы совместно с клиентом Inventive Retail Group выступили с рассказом о планируемом нами масштабном тесте по технологии Look-a-Like и обещали поделиться подробными результатами.

Сама по себе Look-a-Like (LAL) – это технология, позволяющая определять уникальные модели поведения пользователей, достигших определенных целей на сайте рекламодателя (например, положили товар в корзину) и искать похожих на них людей. Выражаясь фигурально, это очень похоже на недавно прогремевший сервис FindFace, умеющий по фотографии искать похожих на вас людей. Похожим образом, на основании данных о поведении текущих активных пользователей, мы можем найти новых потенциальных клиентов.

Итак, ставим задачу

В рамках эксперимента мы планировали провести размещение на всех основных российских self-service площадках. Ключевой целью для себя мы определили задачу найти дополнительные источники целевого трафика для сети магазинов re:Store. Мы хотели получить для клиента новую аудиторию, которая теплее и лояльнее относится к продукции Apple и которая по объему превысит уже имеющуюся в списках ремаркетинга.

Подспудно в рамках кейса было интересно понять, насколько качественно LAL в принципе работает в России и можно ли на данном этапе получить от технологии ощутимый бизнес-выхлоп. Следствием этой задачи станет принятие решения о том, стоит ли крупным рекламодателям вообще выделять на LAL бюджеты. Наконец, с технической точки зрения, интересно было оценить качество аудитории через тест ремаркетинга в Adwords и понять, повлияет ли запуск положительно на ретаргетеров. Ключевая гипотеза заключается здесь в том, что раз качество трафика за счет LAL улучшается, то и показатели эффективности по ретаргетингу вырастут.

Зафиксировав подобным образом основные задачи, мы сформулировали и подробный план проекта. Выглядел он следующим образом.

1) Определить площадки, с которыми в принципе можно запустить LAL в России;

2) Оценить DSP/DMP с точки зрения сервиса;

3) Оценить качество технологии в разрезах Pre-click (CPM, CPC, клики и т.д.) и Post-click (транзакции, BR, СРО, CR, глубина просмотров и т.д.);

4) Сравнить между собой прямой трафик, также трафик из ремаркетинга и LAL;

5) Оценить разницу в качественных и количественных показателях между ремаркетингом от «холодной» аудитории и от LAL-аудитории, оценить степень влияния LAL на ретаргетеров.

Чистота эксперимента

Справедливости ради стоит признать, что задача провести честное сравнение достаточно проблематична. Во-первых, площадки предлагают разный инвентарь, что не может не сказаться на показателях эффективности. Также важную роль играет человеческий фактор – потенциальные покупатели находятся в различном «состоянии» во время потребления контента, а значит, и реакция на предложение будет различаться. Есть и технические моменты. Внутри DSP используются различные «мозги» (например, это могут быть предикторы, биддеры, стратегии) и поставщики данных (cookies, dpi и т.д.). Для получения максимально релевантных результатов в имеющихся условиях, мы приняли решение сравнивать аудитории в однородной среде, оценивать «качество» по ремаркетингу в AdWords и «пробросить» сегменты из Google Analytics.

Вводные данные

Для теста мы использовали проводимую в re:Store акцию, в рамках которой у покупателей была возможность получить скидку на покупку ноутбука или планшета в том случае, если они сдавали свой предыдущий аппарат любого производителя. Длился эксперимент 14 календарных дней, география ограничена Москвой. Аудиторию собирали среди посетителей раздела «корзина», таким образом удалось собрать больше данных для старта кампании. В рамках подготовки за полтора месяца до старта на целевом сайте были размещены коды от площадок на сбор данных. В качестве показателей эффективности мы решили оценивать процент посещения раздела «корзина», целевой страницы, карточек участвующих в акции товаров.

Изначально было принято решение запускать кампанию на 17 наиболее популярных площадках.

Независимые DSP с LAL (или способные строить аффинитивные сегменты):

• Auditorius;
  Exebid;
• Getintent;
• Hybrid;
• iMarker;
• Kavanga;
• Soloway;
• Weborama;

«Большие» DSP с LAL:

• DBM;
• Яндекс.Дисплей;
• Facebook;
• myTarget;

DMP без DSP, но готовые построить LAL и пробросить их в DBM):

• Aidata;
• Amberdata;
• Nous;
• TBh;
• Cleverdata.

Уже на этапе подготовки пришлось отказаться от ряда размещений по различным объективным причинам. Auditorius и iMarker не подошли под тестовый бюджет, CPC в медиаплане от площадки оказался слишком высок. Яндекс успел убрать продукт в аудиторные пакеты, у Kavanga не оказалось собственных данных (DSP с чужими данными в рамках теста нам были неинтересны). Наконец, минимальный стартовый бюджет в Weborama не позволил нам использовать ее в эксперименте на общих условиях.

В итоге к запуску у нас осталось 10 пригодных площадок, их мы и использовали. Примечательно, что лишь 7 из них за все время теста дали более 200 кликов (DBM, DBM – Aidata, Exebid, Facebook, Getintent. Soloway и myTarget). DBM – Amber, DBM – Nous и Hybrid привели слишком мало кликов для какого-либо анализа.

Для всех площадок мы использовали одну и ту же акцию, одинаковые креативы, посадочную страницу. Период размещения и географический таргетинг также не отличались. Оценку результов было решено проводить с учетом отложенных конверсий, атрибуцией по первому клику и с учетом процента новой аудитории.

Подводя итоги

В процессе размещения площадки ожидаемо показали себя с разной стороны. Примерно 2/3 заложенного на них бюджета было потрачено с помощью Amberdata и Nous, которые по техническим причинам не смогли включиться с самого начала. Hybrid за неделю до старта решили пересобрать LAL по новому алгоритму, в ходе запуска процедуру повторили еще раз. И тем не менее, от заложенного изначально бюджета было потрачено лишь около трети. myTarget изначально собрали некорректный LAL для запуска, в ходе размещения процедуру также пришлось повторить. В случае Soloway в результате сбоя в середине размещения процент новой аудитории упал с 83% до 35%, а в дальнейшем повысился лишь до 65% к последним дням теста.

В первые дни после запуска трафика было действительно мало по причине того, что мы ограничили возраст аудитории рамками от 25 и до 44 лет. В дальнейшем, рамки возраста пришлось увеличить, и за счет этого объемы трафика выросли. Наконец, процент LAL был настроен на максимально похожий (около 90%), в дальнейшем пришлось разбавлять аудиторию до более широкой. Таким образом, картина оказалась следующей – мало трафика в начале и, по нарастающей, повышение объемов ближе к завершению размещения.

К сожалению, некоторые гипотезы проверить не удалось. Например, за весь период по LAL пришло лишь 0,5% всего трафика, и оценить влияние на ретаргетинговые кампании на таких объемах проблематично.

Для себя мы сделали вывод, что наилучшие результаты показали DBM, DBM (Aidata), Soloway и Facebook. Getintent дал нам достаточно дешевый трафик и расхождение порядка 50%, результат мы посчитали удовлетворительным. Exebid и Hybrid показали слишком большую потерю трафика (56 % и 64 % соответственно). Amber и Nous дали слишком мало трафика и его стоимость оказалось слишком высокой (стоимость клика доходила до 351 рубля при средней цене по кампании в 45 рублей).

В категории «поставщики» нашим фаворитом стала Aidata. Среди социальных сетей Facebook отработал несколько лучше по основным параметрам, но принципиальной разницы мы не увидели. Наконец, среди независимых DSP Soloway дал хорошее качество трафика, но очень малые объемы. С Getintent также можно и нужно работать. Останавливаться на достигнутом мы не планируем и уже готовим идеи для новых тестов, о которых расскажем в дальнейшем!