Очевидно, что интуиция, опыт и ручной труд уже не справляются с обработкой потока информации, а искусственный интеллект заменяет врачей, водителей, журналистов, аналитиков, менеджеров, маркетологов… В последние несколько лет фраза «машинное обучение» перестала быть просто модным словосочетанием, оно рядом с нами ежедневно: технология распознавания лиц позволяет отмечать и обмениваться фотографиями друзей, системы рекомендаций предлагают фильмы, книги или телешоу в соответствии с нашими интересами, выбирают для нас такси и рестораны.
В статье расскажем, что такое искусственный интеллект и машинное обучение и как использовать эти технологии для работы и заработка.
1. Как работает машинное обучение
Машинное обучение (англ. machine learning, ML) – один из разделов искусственного интеллекта (ИИ). Это методика анализа данных, благодаря которой программист может не писать инструкции, предусматривая все потенциальные проблемы и их решения. Вместо этого он закладывает в компьютер или программу алгоритм самостоятельного поиска закономерностей в массиве информации, составления на их основе прогнозов и вывода решения. И все это, повторимся, без участия человека.
Если упростить, то это алгоритмы, которые позволяют машине/ роботу/ аналитической системе самостоятельно обучаться.
Возьмем, к примеру, сервис DeepCode. Оперируя четвертью миллиона алгоритмических правил, принципов и методов разработки ПО, он анализирует программный код сайта на предмет ошибок и формирует рекомендации для разработчиков по исправлению. Причем программа самостоятельно и постоянно пополняет число алгоритмов в своей аналитической базе – именно за счет ML-технологий.
Примеров использования машинного обучения масса:
- системы прогнозирования,
- распознавание речи: перевод произнесенных слов в текст, а текста – в речь (голосовой поиск, пользовательские интерфейсы),
- финансы, промышленность и торговля: компании используют ML при расследовании фактов мошенничества и проверках кредитоспособности;
- интернет-реклама: управление ставками в платных каналах, системы аналитики, персонализации контента и многое, многое другое.
В основе платформы RTBSape также лежит machine learning. Однако у тех, кто зарабатывает в интернете, нет спроса на интересные технологии ради самих технологий. Каждого вебмастера интересует превращение данных в деньги. Об этом и поговорим далее: каким образом Data Science приносит реальный доход.
2. Искусственный интеллект и монетизация сайта: прослеживаем связи
В начале всё выглядит довольно просто. Есть сайт, а у сайта – страницы, контент в определенной тематике и трафик, то есть пользователи, который этот контент потребляют. А еще вместе с контентом они потребляют рекламу, у которой есть определенный формат, размер и место на странице. При этом у каждого посетителя есть cookie, IP-адрес, заголовки, передаваемые браузером, дата посещения.
А еще есть рекламные сети. У каждой имеется история покупки на конкретном рекламном месте сайта, информация о посетителе, у кого была совершена покупка, какой процент трафика они покупали, по какой цене.
Чтобы продать и купить рекламу на лучших условиях, необходимо отследить, проанализировать и связать воедино весь этот массив информации. Но сделать это вручную почти невозможно. Кое-что, конечно, человек может сделать своими силами, но результаты будут неполными и приблизительными. А самое главное, такая работа крайне неэффективна. И уж совсем бесполезна, если в партнерах у вебмастера не одна рекламная сеть.
Если имеешь дело с Big Data, лучше положиться на искусственный интеллект: посмотрите, как с этим справляются наши технологии.
3. Большие данные в RTBSape
В RTBSape более 30 партнеров – рекламных сетей. Для каждого рекламного места необходимо выстроить последовательность их вызова, но вариантов таких последовательностей бесчисленное множество – настроить их вручную немыслимо. Здесь к процессу подключается машинное обучение и нейроалгоритмы.
Как подбираем партнеров
Для предсказания спроса на рекламное место RTBSape собирает все события (показы, просмотры на сайте). На основе их параметров принимается решение и запускается алгоритм, который и подбирает для вебмастера партнеров, максимально выгодных здесь и сейчас.
Раз в час наша технология пересматривает порядок показа партнеров на основе цены за показ (CPM). Алгоритмы предсказывают спрос у партнера на конкретные характеристики (площадку, профиль посетителей и т.д) сайта и подбирают наиболее выгодных для паблишера рекламодателей. Алгоритмы работают таким образом, что сначала подбираются наиболее выгодные партнеры, а далее – в порядке убывания их ценности.
Таким образом на вход нашего нейроалгоритма для каждого рекламного места подается статистика обработки как можно большего числа последовательностей вызова партнеров.
Как это работает:
Вход: для 80% показов рекламы в рамках рекламного места на странице алгоритм использует последовательность по умолчанию (дефолтную). На 20% тестирует другие варианты последовательностей. Результаты всех этих сочетаний сервис обрабатывает в нейросети, добавляя туда дополнительно факторы конкретного посетителя, сайта, страницы и места.
Выход: по результатам тестирования алгоритм выбирает наиболее выгодную последовательность и отдает ей 80% показов в рамках одного рекламного места до тех пор, пока тестовые 20% не дадут новую максимально эффективную вариацию.
Перед продажей рекламного места сервис проводит открытый аукцион на рекламное место среди сетей-партнеров – Оpen RTB, тем самым максимизируя цену показа. Если в ходе аукциона выкупа не было, программа продает трафик остальным партнерам – в порядке убывания их значимости.
Для каждого аукциона места для рекламных форматов ранжируются по цене. При этом, чтобы увеличить доход вебмастера, система проводит аукцион среди всех подходящих форматов и показывает наиболее выгодные для вебмастера.
Вот несколько примеров:
- в рамках одного места система продает не только рекламу для стандартного размера блока (например 160x600), но и всех размеров, которые в него помещаются, например 120x600, тем самым увеличивая выкуп в среднем более чем на 30%;
- если возникает спрос на размещение видео этого размера, то RTBSape сможет показать и его, увеличив стоимость показа до 5 раз (размещение видеорекламы дороже, чем баннерной);
- в рамках одного рекламного места система может запустить цепочки из 4–5 коротких видео, что в сумме будет выгоднее одного длинного ролика;
- в одном и том же рекламном блоке мы можем показывать одновременно несколько креативов. Например, имеется блок 970x250. Одновременно пришли запросы на 1 креатив 970x250 по 15 рублей CPM и 3 креатива 300x250 по 10 рублей CPM. Система покажет в блоке то, что выгоднее: 3 креатива, которые дадут в сумме 30 рублей CPM вместо 15 рублей, показывая одновременно несколько креативов в рамках одного рекламного места.
Вебмастер может отключить вручную какие-то опции, но в целом все происходит автоматически, без человеческого вмешательства. Чтобы повторить такую операцию вручную потребуется масса времени, а найти оптимальную последовательность без автоматизации невозможно, поскольку невозможно вручную учесть все вариации сочетания влияющих факторов.
Технологии big data и кластеры
Несмотря на всю сложность технологии, в сервисе – минимальная команда разработчиков для внутреннего контроля, так как все автоматизировано.
BigData RTBSape хранятся в hadoop – это основополагающая технология хранения и обработки больших данных (Big Data).
Аналитика – в СlickНouse, колоночной базе данных, разработанной Яндексом для обработки аналитических запросов, которая идеально подходит для решения задач интернет-маркетинга.
Также используется Apache Spark – целостная вычислительная система с набором библиотек для параллельной обработки данных на кластерах компьютеров.
А еще в RTBSape используются методы линейной регрессии – LightGBM (библиотека машинного обучения), или градиентный бустинг. Это фреймворк для повышения градиента, который использует древовидные алгоритмы обучения.
Что в результате?
Мы собираем много данных в кластерах, ищем закономерности в выкупе от рекламных партнеров, чтобы определить наиболее выгодных и предоставляем вебмастеру готовое, эффективное и постоянно актуальное решение, чтобы он получал максимально возможный доход.
В среднем, по сравнению со статической последовательностью партнеров, алгоритм RTBSape показывает увеличение дохода более чем на 30 процентов.
Если пользуетесь другими решениями, мы готовы показать и доказать нашу эффективность в сравнении с ними. Регистрируйтесь в RTBSape или обращайтесь на почту и почувствуйте разницу.
Сергей Самонин, CEO RTBSape
ВКонтакте
