×
Россия +7 (495) 139-20-33

BDD 2019: Агрегаторы и маркетплейсы в поиске Яндекса и Google

Россия +7 (495) 139-20-33
Шрифт:
3 18533
Подпишитесь на нас в Telegram

8–10 августа в Калининграде прошла конференция Baltic Digital Days 2019. В секции, посвященной поисковому продвижению, Александр Ожгибесов представил доклад, посвященный агрегаторам и маркетплейсам в поиске Яндекса и Google. А SEOnews подготовил его обзор и теперь делится с вами.


Перейти к презентации спикера

Свое выступление спикер начал с актуальной проблемы: в поиске есть агрегаторы, и с ними сложно бороться любым коммерческим сайтам. Уже сегодня есть тематики, где SEO не работает. И очень важно понимать, как такие тематики искать. Решению этой проблемы Александр и посвятил свой доклад.

Любой поиск – и Яндекс, и Google – это компания для зарабатывания денег. Но место в поиске ограничено, и компании понимают, что нужно расширять свои возможности не в плане количества мест в выдаче, а в плане содержания и конкуренции.

На данный момент выдача Яндекса по коммерческим ВЧ-запросам выглядит примерно так:

Выдача Яндекса по запросу "купить кондиционер". Колдунщик

Выдача Яндекса по запросу "купить кондиционер". Блок с контекстной рекламой

Пользователь видит товарный колдунщик, затем блок с рекламой Директа и только потом органику.

В Google ситуация похожая: справа блок рекламы, слева блок рекламы, снизу блок навигационных карт и уже потом поисковая выдача.

Выдача Google по запросу купить кондиционер. Контекстная реклама

Выдача Google по запросу "купить кондиционер". Колдунщик с картами

Сколько трафика может получить сайт в такой ситуации? Примерно 0.

Проблема в том, что SEO-шникам нужно показывать клиентам рост позиций. Но по факту даже если получить в такой выдаче десятую позицию, никто все равно не увидит ваш сайт. Конечно, в отчете у клиента все будет круто, но трафика не будет.

Причем ситуация с СЧ- и НЧ-запросами кардинально не отличается. На скриншоте видно, что агрегаторы забирают весь ТОП. Да, есть подчеркнутые зеленым четыре коммерческих сайта, но по факту это ничтожно мало.

Ситуация по НЧ- и СЧ-запросам

Как с этим бороться?

  1. Можно писать в Facebook, что SEO умерло, и уйти в контекст или таргет.
  2. Или можно делать скоринг запросов на предмет агрегаторов, маркетплейсов и сложной коммерции.

Далее речь пойдет о втором варианте. Александр рассказал о своем методе скоринга, реализованном при поддержке сервисов Топвизор, ruCaptcha, Netpeak Checker и keys.so.

Вводная информация

В рамках исследования были рассмотрены 110 тематик по продаже товаров и услуг + ставки и казино.

Тематики

Тематики

Еще немного вводных:

Задачи и вводные данные

Ход работы

Изначально была гипотеза: если каждую неделю снимать данные по всем используемым регионам, то будет заметен процент изменений. Однако при таком подходе выдача практически не менялась. Поэтому период был расширен до трех недель.

И это очень важно с практической точки зрения. Предположим, вы начинаете работу с новым клиентом: если вы снимете данные за неделю-две, то не получите никакой точной картины. И не сможете оценить, будет клиент счастлив по итогу работы с вами или нет. Если у вас в компании этап пресейла небольшой (пришла заявка, и вы ее сразу взяли в работу), есть риск показать плохой результат, потому что в тематике может быть засилье агрегаторов. Но у вас просто не будет времени, чтобы провести исследования и сразу это понять.

Что же делать?

Была идея: если получить все домены, которые есть по 200 тысячам запросов, можно создать инструмент, который будет искать корреляции и делать работу за специалистов.

По факту Александр с командой сделал для каждого из 103 617 доменов следующие типы расшифровки:

Типы расшифровки для доменов

Список проверяемых характеристик: количество страниц в индексе Яндекса и Google; наличие в Справочнике; коммерческие маркеры в Title, H1, Description; ссылочное; нахождение сайта в ТОП 500 тысяч по Keys.so; ИКС; Whois и дата первого сканирования; соцсети; телефоны, email.

Оказалось, что корреляции оценок с характеристиками нет.

Представим: у вас коммерческая тематика. Казалось бы, если у вашего сайта 2–3 страницы, то вы коммерческий сайт, а если 100 000 страниц, то вы агрегатор. Но нет. Потому что в России есть, во-первых, тематичные агрегаторы, а во-вторых, есть большие компании (вроде Lamoda или Wildberries), которые стараются работать по всему направлению услуг или товаров. И в этом большая проблема.

Поэтому все расшифровки придется делать вручную. В принципе один человек может расшифровать вручную шесть тысяч доменов за один день, если у него огромная мотивация. А шесть тысяч доменов – это достаточно крупные тематики.

Какие задачи стояли в рамках исследования:

  1. Получить % соотношение состава органики на всей выборке для поисковых систем Яндекс и Google, а также его изменение в период Январь-Август 2019 г.
  2. Получить список тематик для поисковых систем Яндекс и Google, у которых из текущей выборки максимальный % агрегаторов и сложной коммерции и наоборот.
  3. МСК и регионы: как меняется % агрегаторов и сложной коммерции в регионах?
  4. Дать ответ на вопрос, подходит ли канал SEO для тематик со сложной коммерцией и агрегацией?
  5. Создать инструмент для скоринга запросов на предмет каждого типа расшифровки по позициям + «Кроме выбранной расшифровки».

Итак, первый вопрос: что делать со сложной коммерцией, когда в выдаче очень много агрегаторов? Ответ: необходимо создать инструмент для скоринга, чтобы каждый мог повторить это исследование и делать чуть более глубокую аналитику, чем сбор семантики и съем позиций.

Что есть на текущий момент (август 2019)

Состав органики на август 2019

Если брать все тематики, то в Яндексе 65% коммерческих сайтов. Сложная коммерция – это сайты типа Wildberries, у которых большое количество страниц, много филиалов и разнообразный каталог, но этих сайтов не так много.

Доля агрегаторов в Яндексе просто уничтожает коммерцию. Причем делается это очень профессионально. Google более лоялен в этой ситуации, у него лишь 8% агрегаторов.

Ситуация по информационным запросам отражена на слайде выше. Может возникнуть вопрос: а зачем вообще брать информационные запросы? Дело в том, что изначально их и не брали. Была задача исследовать абсолютно коммерческие ядра, но, например, в тематике «Дизайн интерьера» есть информационные запросы, и с этим ничего сделать нельзя. Поэтому в выборку попали и инфозапросы.

Сервисы поисковых систем – это сайты вроде Здоровья Mail.Ru и т.п. Они тоже ранжируются по соответствующим запросам. И в коммерческой выдаче очень часто можно увидеть, что некий ВЧ-запрос, например, «кондиционеры в Москве», занимает место в соцсети и, соответственно, хорошо ранжируется по этому запросу.

Следующий момент – изменение % соотношения органики.

Изменение % соотношения органики

За полгода коммерческих сайтов в ТОП 10 выдачи Яндекса стало на 12,4% меньше. Такими темпами через два года или чуть больше большинство товаров будет уже продавать сам Яндекс. Похоже, коммерческие сайты Яндексу не нужны, и он планомерно от них избавляется.

Важный момент: это медианные данные. Если смотреть средние значения, то это будет другая картина, потому что пики, показанные на графике, сейчас не учитываются.

Исключения

И уже сейчас понятно, что есть тематики, в которых из-за агрегации делать SEO нет никакого смысла. На скриншоте выше -32,8% – это отношение второго файла к первому. При этом в Яндексе 72% агрегации. К сожалению, здесь вебмастерам делать нечего. Та же ситуация с «Арендой недвижимости» – там не такой жесткий процент, но 60% агрегаторов в ТОП 10 по всем запросам – это печальная картина. Эту проблему нужно решать, но пока SEO обречено там умереть.

Общий вывод

Интересный факт: чем сложнее услуга или товар, тем меньше там агрегации. Например, грузоперевозки требуют слишком высокой экспертизы при продаже, поэтому агрегаторы просто туда не лезут. Или продвижение сайтов: один специалист продвигает по одной цене, другой – по другой, при этом у них совершенно разные методики работы. Так что поставить их вместе и как-то агрегировать информацию практически невозможно.

Что до тематик с максимальным процентом: там все не так просто. Например, сигареты (оптовая и розничная продажа) интересны агрегаторам.

Выводы по тематикам с максимальным %

Выводы для региона Москва

Все печально: здесь Яндекс должен перестать быть для вас приоритетной системой. Дело в том, что поисковик отдает приоритет в ранжировании агрегаторам и сложной коммерции, при этом % URL таких сайтов постоянно растет. А вот в Google ситуация развивается противоположным образом.

Выводы для регионов

В регионах процент агрегации чуть меньше. Дело в том, что процент коммерции там падает.

Выводы для регионов

Выводы для регионов

Все ли потеряно в жестких тематиках? Нет, но нужно прикладывать больше сил, чтобы найти запросы, с которых вы сможете получать трафик. На скриншоте ниже пример коммерческих сайтов, которым удается соревноваться с агрегаторами. Один из ресурсов получает 18% трафика и 56,8 тысяч трафика.

SEO потеряно?

Проблема не в SEO или коммерческих сайтах, проблема в том, что агрегация постоянно растет, причем растет и количество агрегаторов в разных нишах. И если вы ищете конкретный товар, например, фотоаппараты, и встречаете агрегатор, специализирующийся на фототехнике, его предложение будет лучше, чем у любого из коммерческих сайтов.

Решение проблемы

В качестве решения Александр предложил скоринг запросов и итерационное продвижение.

Последовательность действий:

  1. Собрать данные для исследования вашей тематики.
  2. Подготовить расшифровку для доменов.
  3. Получить данные по составу топа в вашей тематике.
  4. Получить данные по изменению URL у фраз на основании разных итераций вводных (недели, месяцы и т.д.).
  5. Выбрать запросы, у которых отсутствует необходимый тип расшифровки (например, агрегаторы), – внедрить эту семантику.
  6. Выбрать запросы с минимальным присутствием по позициям необходимого типа расшифровки (например, агрегаторы) – внедрить эту семантику.
  7. И только после получения топа по этим запросам переходить к наиболее сложной семантике.

А теперь по шагам

Чтобы это все получить, нужны данные. Их можно взять из Key Collector и XMLProxy (для Яндекса) и XMLRiver (для Google) или Топвизора (инструмент «Снимки выдачи»). Минимальный период съема данных для каждой ПС – 4 недели.

Итак, вытаскиваем данные из Топвизора и Key Collector. Выгрузив данные выдачи из Key Collector в режиме «Мульти-группы», мы получаем несколько файлов Excel с данными поисковой выдачи. Но вид файлов Топвизора отличаются от того, что дает KC – получаются две разные сущности. Решить эту проблему помогает макрос для обработки данных в папке. Достаточно открыть макрос, загрузить туда файлы Топвизора, и он их обработает, приведя к виду Key Collector – слева запрос, справа их ТОП 10.

Данные до и после обработки

Затем макросу нужно понять, с чем сравнивать данные. Это нужно, чтобы понимать, заходить вам в эту тематику или нет. Те, кто работает со своими проектами, прекрасно понимают, что если процент агрегации на каждом файле будет сильно увеличиваться, то будет лучше отказаться от такого клиента.

Что дальше?

Из одного базового файла нам необходимо получить домены из URL. Для этого в Excel копируем столбец URL в отдельный столбец и применяем «Текст по столбцам». Получаем таблицу следующего вида:

Работа в Excel

Удаляем все, начиная от столбца D, чтобы остался протокол и домен. В столбец «B» вставляем «//» и протягиваем. В ячейке D1 пишем формулу =СЦЕПИТЬ(A1;B1;C1;) и протягиваем.

Работа в Excel

Копируем столбец D и используем специальную вставку, чтобы из формул получить данные.

Работа в Excel

Выделяем весь столбец и удаляем дубликаты.

Работа в Excel

Полученные 344 домена вставляем в Netpeak Checker и снимаем следующие параметры:

  • Title
  • Телефонные номера
  • Проиндексированных URL Яндекс
  • Дату регистрации домена и дату первого сканирования Вебархивом
  • Опционально: трафик SimilarWeb
  • Опционально: Топ 100: количество фраз в Serpstat

Проблема в том, что вы не можете получать данные с SimilarWeb и данные по количеству фраз Serpstat, потому что для этого нужно API. По факту проиндексированных URL Яндекса вполне достаточно, чтобы понимать, насколько большой перед вами проект.

На скриншоте ниже интерфейс Netpeak Checker.

Интерфейс Netpeak Checker

Здесь сразу можно посмотреть число сайтов с большим количеством страниц, по которому можно определить, что это агрегатор. Сайт, у которого 4 или 14 млн страниц, не может быть коммерческой тематики, где примерно 114 страниц. Там, где есть сомнения, тематичный перед вами агрегатор или нет, вы уже просматриваете вручную.

Для чего нужны поля с email и телефонами

Телефонные номера есть в принципе на коммерческих сайтах, а на сайтах агрегаторов вы их не встретите. Есть нюанс: если в верстке карточки у агрегатора телефон встречается, Checker будет его показывать.

Для чего нужна дата создания

Чтобы найти информационные проекты. Допустим, если мы берем XML-панель, то вы увидите по дате домена старые и молодые сайты и сможете вычислить среди них информационные, коммерческие и так далее.

Что получается

Берем данные и начинаем расставлять по ним оценки. Проблема в том, что оценки приходится расставлять руками, и на это уходит основное время. У команды Александра из восьми человек на 103 тысячи доменов ушло больше месяца.

Следующий шаг

Макрос работает так, что он проверяет соответствие домена и URL. Это разное. В конце у данных стоит слеш – это вид, который выдает Netpeak Checker. Средствами Excel (а именно формулой =ПСТР(A2;1;ДЛСТР(A2)-1)) избавляемся от них и из списка со слешами делаем список без слешей.

Работа с Excel

Переходим к макросу. В последний лист «Оценки» вставляем домены и расшифровку. Затем переходим в лист «Ввод» и выбираем папку с данными, которые мы подготовили. Нажимаем преобразовать. Если вы все правильно сделали, вы увидите «ОК».

Работа с Exce

Если были ошибки (например, спецсимволы или эмодзи в URL), макрос сломается. Но он будет указывать, что в файле есть такая-то строка с неправильным URL, который невозможно прочитать.

Нажимаем вторую кнопку «Добавить столбец расшифровки». И макрос отдает вам домены со всех файлов, для которых нет расшифровки. Повторяем процесс расшифровки.

Работа с Excel

Всего для этой тематики понадобилось расшифровать 796 доменов. В случае успеха при повторном нажатии кнопки макрос выдаст сообщение «ОК».

Работа с Excel

Переходим на лист Отчет1 и нажимаем кнопку заполнить Отчет 0,0-1,3.

Работа с Excel

Когда вы подготовили расшифровку, макрос посчитает количество оценок в названии таблиц. Например, 1 – коммерция, 2 – агрегация, 3 – сложная коммерция, а последняя таблица будет отвечать не за численные и процентные данные, а за процент изменений. И в принципе по каждому значению вы будете видеть диаграмму, которую можно представить клиенту, оставить для себя и просто следить, как изменяется процентное отношение.

При нажатии на кнопку «Заполнить Отчет 4» в листе Отчет 2 заполнятся данные об изменении URL с привязкой к фразам и файлам.

Работа с Excel

Для чего это нужно? Вы должны понимать, как менялись URL. Если ваш проект продвигается здесь, вы можете на этом листе полностью посмотреть, как менялся процент отношения по топам от файла к файлу. А учитывая, что это ревизия ваших файлов за 4, 10 неделю и т.д., перед вами будет вся аналитика с фразами, показывающая, как изменяется процент конкретных топов по вашим конкретным фразам.

Скоринг запросов

Самое важное во всем процессе – это скоринг запросов. Ведь у нас есть тип расшифровки, который файл понимает, и есть позиция. Поэтому мы можем сказать макросу, например, «найди мне все запросы с коммерческим сайтом на 1 и 2 позиции», и он эти запросы предоставляет. Есть еще кнопка «кроме выбранной расшифровки».

Еще одна возможность как раз по скорингу в тематике «Недвижимость», где почти 60% агрегации. Александр попросил макрос показать все запросы с коммерческими сайтами на 1–3 позиции. И макрос показал запросы, по которым нет сайтов-агрегаторов. Почему их там нет? Все очень просто: агрегаторы – это коммерческие компании. У них точно так же есть семантика, SEO-шники и люди, которые строят их структуру. И у них нет бюджета, так что всегда есть запросы, по которым даже в недвижке – аренда недвижимости или продажа домов – не будет агрегаторов. И ваша задача увидеть эти вопросы и при продвижении поставить их выше, чем условный запрос «купить квартиру», по которому вы никак не обойдете агрегаторы.

Что получили

В тематике «Недвижимость» семантика, поданная на вход, – 6000 запросов, не так уж и много, но это клиентская семантика. Запросов с коммерческими сайтами на первой позиции в Яндексе – 218, у Google – 529. В принципе у нас есть 529 мест в поиске из 6 тысяч запросов. И это очень хороший результат для такой небольшой выборки.

Что нужно сделать, чтобы получить макрос

На основе оценок команды Александра и других специалистов, готовых поделиться данными, можно сделать сервис. Этим могут заняться владельцы любого из инструментов автоматизации. Но для этого придется дать им расшифровку, потому что искать корреляции практически невозможно, а данные исходников повышают вероятность на успех.

Соответственно, общими усилиями можно собрать расшифровки по всем популярным тематикам. И дальше любой владелец сервиса на заранее обозначенных условиях сделает хороший сервис, и вся эта работа будет производиться автоматически.

Итак, если коротко, как получить макрос: вы делаете расшифровку, присылаете ее Александру, а он отдает вам макрос. Чтобы это организовать, нужно всего лишь немного возможностей Excel и пара человек.


Нужно больше подробностей? Скорее всего, они есть в презентации.


Читайте также:

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • zmey
    2
    комментария
    0
    читателей
    zmey
    больше года назад
    Спасибо за полезную, содержательную и актуальную информацию
    -
    0
    +
    Ответить
  • Дмитрий Юрьевич
    2
    комментария
    0
    читателей
    Дмитрий Юрьевич
    больше года назад
    Хорошо бы если бы Кей-Коллектор у себя добавил такой функционал. Ато работать в сторонних скриптах неудобно. А разметить сайты можно было бы либо вручную, либо скачивать базы размеченные за не-очень дорого.
    -
    1
    +
    Ответить
    • Саша Ожгибесов
      1
      комментарий
      0
      читателей
      Скоро выходит в паблик KK4, который уже в бете. Его можно скачать и написать разработчикам такое пожелание, если тикетов будет много, Александр Люстик со мной свяжется и мы передадим ему все данные
      -
      0
      +
      Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Накрутка поведенческих факторов: дорого, сложно, но можно. Если очень хочется
Oleg_bobr2012
1
комментарий
0
читателей
Полный профиль
Oleg_bobr2012 - Мда...Может Анне сразу в Яндекс написать кейсы по накрутке ПФ. Я бы такого сотрудника гнал вон.
28 способов повысить конверсию интернет-магазина
Татьяна
1
комментарий
0
читателей
Полный профиль
Татьяна - Очень действенные рекомендации представлены в статье! Всё четко расписано и легко внедряемо в работу интернет-магазинов.Удобство и наглядность+различные бонусы и скидки-именно то, что и цепляет покупателя.
Какие сайты лидировали в поиске Яндекса и Google в 2023 году
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Если что по рейтингу вы не правы, есть ядро по которому производиться оценка и вы можете по нему самостоятельно все посмотреть. Единственный объективный рейтинг по SEO. Других не знаю Ну я вам скажу что это не так и в предыдущие года сайт моего клиента попадал в рейтинг, при чем несколько раз. И я прекрасно знал еще до объявления результатов кто лидер - рейтинг прозрачный, есть фразы по которым набираются баллы. В этом году наш сайт не попал в рейтинг например и это было понятно, что не попадет (по статистике позиций)
Создали ресурс для металлургов, который позволяет следить за аналитикой рынка и осуществлять продажи
Наталья Сталь
3
комментария
0
читателей
Полный профиль
Наталья Сталь -
5 способов увидеть сайт глазами поисковика: анализируем скрытый контент и cloaking
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Сейчас клоаку прячут, так что под нее можно глянуть только с гуггловских ip. Сейчас только гуггл сервисами можно глянуть
7 актуальных сервисов для анализа сайта: сравнительная характеристика
Jenimeon
1
комментарий
0
читателей
Полный профиль
Jenimeon - SimilarWeb один из моих фаворитов, частенько им пользуюсь. Ценник не малый, но функционал хороший. Be1 тоже годный.
Насколько вечные – вечные ссылки?
daniilastaaahov
1
комментарий
0
читателей
Полный профиль
daniilastaaahov - Я где-то пару месяцев назад заказывал размещение вечных ссылок, до сих пор рабочие, не удалены. Буду надеется что и дальше с ними ничего не произойдёт.
Optimization 2023: текстовый анализ в 2024 году и методы увеличения релевантности страниц
Игорь
1
комментарий
0
читателей
Полный профиль
Игорь - это информация максимум уровня middle seo. что такой проходняк делает в секции hard seo когда-то великой ашмановки, еще и в исполнении токсичного инфоцыгана большая загадка)) ходил последние 5 лет на нее, но больше пожалуй не стоит
5 ошибок отдела продаж, из-за которых вы теряете клиентов
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Крутая статья! Можно еще указать: Работу без CRM-системы - я считаю, что это основа отдела продаж. Потому что не все компании решаются на внедрение отдельно системы для отдела продаж. Но зато можно что то многофункциональное внедрить аспро.клауд или что то подобное
Простые SEO-работы, которые могут увеличить прибыль компании. Часть 1
roma.lisov
1
комментарий
0
читателей
Полный профиль
roma.lisov - Воспользовался советом по проверке и настройке картинок на сайте – реально дельный совет. Вот вроде и просто, казалось бы, а мне в голову раньше не пришло. А такие нюансы, конечно, нужно знать)
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
386
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
120
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!