IBC Russia 2014: поисковые машины

27-28 ноября прошла конференция IBC Russia, главное отраслевое мероприятие для рынков интернет-маркетинга и веб-разработки. Традиционно в первый день конференции прошла секция «Поисковые машины», где представители главных поисковиков Рунета рассказали о последних нововведениях и трендах.

Секцию открыл Ринат Сафин, Google, с докладом «О’кей Google, что нового в поиске?».

За прошедший год значительно увеличилось количество устройств, которыми пользуются интернет-пользователи. При этом очень заметно вырос мобильный трафик, в связи с чем Google решил сосредоточиться на создании мобильных решений.

В 2014 году был запущен голосовой поиск для мобильных устройств, который понимает запросы и команды пользователя и выдает ему соответствующие ответы.

Однако далеко не все сайты готовы к отображению на мобильных устройствах. Специалисты Google провели небольшое исследование и выявили наиболее распространенные ошибки:

• Пользователь заходит на сайт и видит огромный баннер, кнопка «Закрыть» спрятана где-то очень далеко, и пользователь никак не может убрать этот баннер,
• Баннер «Установить приложение прямо сейчас?»,
• Неправильные редиректы на домашнюю страницу,
• Горизонтальный скроллинг, проблемы с отображением контента,
• Расположенные близко друг к другу ссылки и кнопки, неудобные для нажатия пальцами,
• Медленная загрузка.

Для решения данных проблем в 2014 году специалисты Google выпустили несколько инструментов:

• device mode and mobile emulation — расширение для браузера Chrome, которое позволяет увидеть, как страница сайта будет отображена на определенном устройстве,
• mobile friendly test (скоро будет запущен на русском языке) — инструмент быстро анализирует сайт, находит «слабые места», которые могут повлиять на его корректное отображение на мобильных устройствах, и дает рекомендации,
• отчет «Удобство просмотра на мобильных устройствах» в Инструментах для вебмастеров,
• сервис «Посмотреть как Googlebot».

Самые важные изменения в поиске за прошедший год также связаны с мобильными устройствами:

• индексирование приложений, что позволяет связать приложение с конкретным сайтом,
• рендеринг страниц. Теперь вебмастерам не рекомендуется закрывать от индексации элементы CSS, JavaScript, картинки, иначе страница будет отрендерена неправильно.
• метки для мобильных в выдаче — с данным сигналом Google экспериментирует, чтобы в будущем использовать его в ранжировании.

Андрей Калинин, Mail.ru, представил интересную статистику о том, как события в мире в 2014 году влияли на поисковые запросы пользователей.

Например, по известным причинам в этом году россиян волновали хамон, пармезан и гречка:

Но как показал подробный анализ, многие пользователи просто не знали, что такое хамон, и надеялись узнать это в поиске:

А вот интерес к пармезану и гречке оказался примерно одинаковым:

Другие темы, волновавшие россиян в 2014 году:

Секцию продолжили докладчики из Яндекса, которые рассказали о нововведениях в основных сервисах поисковика.

Екатерина Гладких рассказала о методах борьбы с роботами в поиске Яндекса. Около 25% запросов в поиск Яндекса задаются роботами (для XML показатели примерно такие же). 12% запросов задают примитивные роботы, которые легко детектируются и блокируются капчей. 13% запросов задают «умные» роботы, которые проходят капчу с помощью специальных сервисов. Роботы, которые приходят на основной поиск не только создают угрозу для производительности сервиса, но и шумят в статистиках и мешают проведению экспериментов. Поэтому их деятельность необходимо контролировать и ограничивать — для этого чаще всего используются эвристические антироботы. Но такие технологии не подходят для такого большого проекта, как поиск Яндекса. Поэтому была придумана антиробот-система, построенная на машинном обучении. В режиме реального времени антиробот обрабатывает более 3 тысяч факторов, чтобы определить, является данный пользователь роботом или нет. При тестировании новой технологии в Яндекс.Маркете было замечено, что доля детектированных роботов в потоке Маркета возросла с 4% до 40% по сравнению с эвристическим антироботом.

Кроме того специалисты Яндекса постоянно работают над улучшением капчи. Год назад Яндекс перешел на словарную кириллическую капчу. В ближайшее время будет запущена новая страница капчи с островным дизайном, виртуальной клавиатурой и возможностью проходить звуковую капчу.

Михаил Томшинский рассказал о проекте Сибирь, поиск картинок по картинке, который существует в рамках сервиса Яндекс.Картинки. В прошлом году была запущена первая версия проекта, которая позволяла находить полностью идентичные картинки. Кроме того она позволяла искать условные идентификаты. Такая технология может быть особенно полезна при определении фейковых аккаунтов в социальных сетях, фейковых объявлений, поиске товара.

Также не так давно был запущен поиск похожих изображений. На основании движка такого сервиса можно, к примеру, создать рекомендательный сервис для e-commerce. До конца года должно запуститься тегирование изображений, которое поможет системе в определении того, что именно изображено на картинке.

Нина Сапунова, менеджер сервиса Яндекс.Видео, рассказала о том, как поисковик ищет качественные ролики. В Яндекс.Видео есть факторы, которые используются в основном поиске Яндекса, а также еще несколько сотен факторов, например, текстовая релевантность. Также анализируется пользовательское поведение — Яндекс пытается предсказать успешные просмотры и максимизировать их. Также в этом году появился анализ видеопотока.

Алексей Сикорский рассказал о новом сервисе Яндекса — Яндекс.Толока. Проект представляет собой бета-версию краудсорсинговой платформы для сбора пользовательских оценок и уже функционирует две недели.

Алексей Тихонов, аналитик Яндекса, рассказал о проекте Яндекс.Автопоэт, который составляет стихи из поисковых запросов пользователей.