Кластеризация наоборот: как автоматизировать рутинную работу

Любой SEO-специалист мечтает о том, чтобы автоматизировать рутинную работу с поисковыми запросами. Вместо того чтобы собирать ключи по разным источникам, прогонять через кластеризатор, потом чистить руками… просто получить готовый кластер, который станет основой для успешного продвижения страницы в выдаче. Такой способ на самом деле есть, и эта статья описывает его алгоритмическую составляющую, а также дает возможность каждому желающему протестировать данный способ на практике.

Проблематика

Допустим, мы имеем маленький сайт с 10 страницами. Нам бы хотелось, чтобы у нас было 10 кластеров запросов под каждую страницу. Как подобрать эти запросы?
Решение в лоб – это сбор маркерных запросов из Wordstat, потом парсинг поисковых подсказок, частотности запросов и дальнейшая кластеризация всего «облака» по маркерам. Согласитесь – и долго, и дорого. Вот бы был сервис, в который можно отправить 10 маркерных запросов, а он бы вернул 10 кластеров, да еще и с частотностью.

Классическая кластеризация

В общем виде кластеризация – это группировка объектов по какому-то общему признаку. Двигаясь от известного к новому, давайте рассмотрим алгоритм кластеризации по признаку схожести поисковых топов:

• на шаге 1 мы имеем список поисковых запросов;
• на шаге 2 проверяется топ-10 по каждому запросу;
• на шаге 3 проверяется наличие общих url;
• на шаге 4 в один кластер объединяются запросы, у которых есть общие url.

Пример умышленно упрощен, чтобы было легче понять, что такое «кластеризация наоборот».

Кластеризация наоборот

Алгоритм под названием «кластеризация наоборот» нельзя в полной мере назвать кластеризацией, он работает по-другому:

• на шаге 1 подается на вход поисковый запрос;
• на шаге 2 проверяется топ-10 по этому запросу;
• на шаге 3 получаем список запросов, по которым url встречается в топ 10 (подробнее про этот шаг будет ниже);
• на шаге 4 объединяем все запросы в один список. Он, конечно, содержит дубликаты. Мы можем посчитать, сколько раз повторяется тот или иной ключ, а затем отсортировать все ключи по этой цифре.

Для примера мы проверили выдачу по запросу «купить бейсболку», затем для каждого url получили список ключей, соединили списки и посчитали встречаемость ключей. На скриншоте видно, что ключ «купить бейсболку» встречается 3 раза, ключ «кепки» – 2 раза, остальные – по одному разу.

Есть еще пятый шаг, согласно которому нам нужно взять только верхушку получившегося на шаге 4 списка. Дело в том, что запросы, которые встречаются 1 раз, нас не интересуют – среди них есть и брендовые запросы, и те, что в кластере будут смотреться неуместно. Верхушкой считаются первые 10 запросов списка, они встречаются чаще всего. 10 запросов вполне достаточно для первичной оптимизации одной страницы.

Ключи на url

Но откуда взять запросы, по которым конкретный url присутствует в топе? Такой информации поисковая система не раскрывает, придется воспользоваться платными сервисами:

• Ahrefs.com;
• Serpstat.com;
• Keys.so.

На базе последнего (Keys.so) и работает программа, которая реализует этот алгоритм.

KeysSoCollector

Скачать ее можно тут, разархивируйте папку на рабочий стол. Для того чтобы все заработало, вам нужно зайти в настройки программы и заполнить текстовые поля:

1. X-Keyso-Token – возьмите его из личного кабинета keys.so.

2. Город KeysSo – это город базы ключевых слов. Выбрать нужный можно из раскрывающегося списка.

3. xmlproxy – это ваш адрес для совершения запросов к XMLProxy. Необходимо скопировать полностью всю строку:

4. Город выдачи – это город выдачи Яндекса. В разных городах, как известно, выдача отличается, поэтому нужно написать с большой буквы ваш город самостоятельно.

Задайте списком маркерные запросы в текстовое поле в левой части программы и нажмите Запуск. Через некоторое время вы получите готовые кластеры запросов с их частотностью.

Примеры получившихся кластеров

Преимущества и недостатки

К преимуществам такого подхода можно отнести:

• скорость сбора ключей;
• получение сразу ключей с их частотностью;
• простота подхода – всего пара шагов до готового результата;
• разнообразие ключей на выходе (не просто перестановки слов одного ключа);
• получившийся кластер дает представление о том, какой интент запроса с точки зрения ПС;
• сбор запросов на любом языке. Если сделать реализацию этого алгоритма с использованием Serpstat и Google, то можно собирать запросы на любом языке.

Про последний пункт стоит сказать подробнее. Дело в том, что объект поиска Яндексу приходится угадывать, так как большинство запросов мультиинтентные. Возьмем для примера запрос «поло». Что хотел пользователь? Водное поло? Или рубашки поло? Или ошибся в слове «пол». Или это машина Volkswagen Polo? Проверим.

Как видите, кластер целиком про Volkswagen Polo. Так получилось потому, что в выдаче Яндекса по этому запросу 10 url про машину. Рассмотрим менее очевидный пример:

Очень часто по таким запросам многие ожидают увидеть коммерческую выдачу, но на деле она является информационной. Таким образом можно быстро и точно анализировать интенты, не прибегая к сервисам проверки типа запросов.

К недостаткам относятся:

• Ограничение на количество ключей в кластере. Оно существует, так как первые 10 ключей списка, как правило, хорошо дополняют основной маркер. Но дальше начинаются случайные запросы, которые сделают кластер «грязным», и его придется чистить. Экспериментально выявлено, что 10 запросов – это оптимальное количество.
• Иногда можно получить меньше 10 запросов в кластере:

Это происходит потому, что не набралось 10 ключей для анализа. Такое возможно в тех случаях, когда семантика не предусматривает разнообразия и когда url в выдаче присутствуют по одному-двум ключам.

• Иногда кластер получается очень грязным и нерелевантным основному маркеру. В первую очередь это связано с тем, что сама выдача нерелевантна запросу. На примере ниже мы видим кластер, который состоит из разношерстных запросов про кардиганы, но нам-то нужны были запросы про мужской черный кардиган.

Ниже приведена органическая выдача по запросу «кардиган мужской черный купить». Там мы видим, что только Wildberries сделали отдельную страницу под этот запрос. Остальные ответы нерелевантны – скорее всего, у Яндекса просто нет релевантных ответов на этот запрос.

Как можно доработать алгоритм

Выбирать перестановки по частотности

Например, запросы «купить кроссовки в москве» и «кроссовки в москве купить» – это, по сути, перестановка одних и тех же слов. В таком случае можно было бы говорить о том, что это один и тот же запрос, который встречается 2 раза. И в итоговом списке отдавать самую частотную перестановку.

Недописанные запросы

В любой базе ключевых слов встречаются запросы, с которыми SEO-специалист не работает. Например, запрос «блеск для губ от». Их легко выделить, потому что они заканчиваются предлогом или союзом.

Выбор языка

Когда мы говорим про парсинг выдачи Google, то мы, конечно, помним, что это мультиязычный поиск, он работает во всех странах.

Если так, тогда мы можем использовать этот алгоритм для того, чтобы собрать кластер запросов на чужом языке, например французском.