Как использовать Python для LSI-копирайтинга

Вы, скорее всего, слышали об LSI (скрытом семантическом индексировании).

Этот термин последнее время довольно популярен в SEO-индустрии. Кто-то утверждает, что LSI-копирайтинг является залогом попадания сайта в ТОП, кто-то считает это бесполезной тратой времени и ресурсов.

Давайте немного разберемся, что же такое LSI и как оно связано с SEO?

Если совсем коротко и грубо, это один из математических подходов к анализу текстов, разработанный в конце 1980-х годов для повышения точности извлечения информации. По сути, он находит скрытые связи между словами, чтобы улучшить понимание информации.

В теории, если поисковик может понять контент, он будет корректно его индексировать и ранжировать по целевым запросам. Использование синонимов и тематических слов также теоретически может усилить значимость общей части контента, что должно быть хорошо для SEO, верно? К огромному сожалению, нет прямых доказательств, подтверждающих это.

LSI-копирайтинг – довольно успешный маркетинговый ход. Теперь мы пишем не просто SEO-тексты, а LSI-тексты. Окей. Суть та же. Мы просто добавим синонимов.

Однако не все так плохо. Подобные анализы текстов позволяют сделать достаточно выводов, чтобы создать действительно полезный контент.

Благодаря тем замечательным людям, которые создают библиотеки, используемые в различных языках программирования, мы можем довольно быстро строить терм-документные матрицы, высчитывать TF-IDF и прочее. Если кому-то интересно, пишите в комментариях, я опишу, как это можно сделать на том же Python.

В этой статье не будем уходить в столь глубокий анализ. Относительно понятную картину контента, который ранжируется поисковиками, дает анализ N-грамм, встречающихся в текстах сайтов ТОПа и запросов Вордстат.

Ниже представлен код, написанный на Python 3.0.

Собственно, начнем с подключения того, что давно сделали за нас – импортируем библиотеки, которые понадобятся для работы:

На мой взгляд, pymorphy2 – пока лучшее, что придумано для работы с русскоязычными текстами. Именно эта библиотека дает наиболее точные результаты при работе с словоформами. Именно поэтому скрипт написан на Python.

После импорта вводим ключевик, для которого будем искать тематические слова и словосочетания. Возьмем для примера «очки виртуальной реальности».

Первое, что делаем – получаем данные Вордстат. Для этого нам нужно зарегистрировать свое приложение для API Яндекс.Директа и получить токен. С Директом все несколько сложнее, чем с другими API, т.к. необходимо подавать заявку на доступ приложения и ждать, пока ее подтвердят на стороне Яндекса.

Прописываем полученный токен:

Создаем запрос на формирование отчета к API и получаем в ответе id нашего отчета:

Дадим Яндексу время на формирование отчета:

В идеале нужно отправлять еще один запрос, ответом на который будет статус отчета, но, как показывает практика, 10 секунд вполне достаточно, чтобы сформировать этот отчет.

Теперь нам нужно получить сам отчет. Подставляем в свойство param наш id и обращаемся к API.

В итоге нам нужно сформировать два датафрейма, где один отвечает за столбец в Вордстат «Что искали со словом…» (SearchedWith), а второй – за похожие запросы (SearchedAlso).

API Директа отдает нам всего 300 запросов, то есть 6 страниц в разделе SearchedWith, то есть нужно учитывать, что это лишь часть запросов.

Теперь переходим к основной задаче – небольшому анализу текстов.

Для этого нам необходимо обратиться к XML выдаче Яндекса. После всех необходимых настроек переходим в раздел «Тест» и выставляем следующие параметры.

Чтобы сильно не перегружать систему, возьмем для анализа ТОП 50 вместо максимально доступного ТОП 100.

Под этим блоком формируется URL самой XML выдачи. Копируем его и подставляем в него наш декодированный запрос.

Прописываем путь к файлу, в которые запишутся все URL ТОП 50 выдачи по нашему запросу. Такой способ вывода результатов позволит в дальнейшем как иметь список URL, так и удалять из списка те, которые отдают ошибку при попытке достать оттуда информацию. Как правило, это случается крайне редко, но имеет место быть.

Отправляем запрос и парсим XML выдачу:

Прописываем путь к файлу, куда запишем весь текст, полученный при парсинге страниц:

Парсим полученные URL и записываем контент тега p результаты в один файл. Тут нужна небольшая, но важная оговорка, что далеко не на всех сайтах текст оформляется тегами p, а некоторые в эти теги добавляют совершенно левую информацию. Но при анализе довольно большого объема текстов хватает информации, которую мы получаем таким образом. В конце концов перед нами не стоит задача создания точной терм-документной матрицы. Нам лишь нужно найти наиболее часто употребляемые N-граммы в текстах ТОП 50.

Приступаем к анализу полученных данных. Указываем файл, куда запишем результаты, загружаем данные парсинга и список стоп-слов, которые мы хотим исключить из анализа N-грамм (предлоги, союзы, технические и коммерческие слова и т.д.)

А дальше немного магии: приводим все слова к их исходной форме, настраиваем CountVectorizer на подсчет N-грамм с количеством слов от 2 до 4 и записываем результат в файл.

Все, что нужно дальше, – записать все результаты в один Excel-файл:

На первом листе выводим подсчет N-грамм, используемых в контенте сайтов:

Быстрый взгляд на первые 100 N-грамм позволяет нам отобрать следующие: «угол» «обзор», «oculus rift», «шлем виртуальный реальность», «vr box», «gear vr», «диагональ дисплей», «playstation vr», «vr очки», «виртуальный мир», «3d очки», «пульт управление», «100 градусов», «полный погружение», «совместимость ос android», «датчик приближение», «линза устройства», «vr гарнитур», «дополнить реальности». Это дает понять, что в тексте стоит затронуть такие понятия, как «угол обзора», «полное погружение», «линзы», «дополненная реальность», «датчик приближения», рассмотреть вопросы совместимости, использовать такие синонимы, как «шлем виртуальной реальности», «vr» и т.д.

На втором листе – данные Вордстат по похожим запросам (по сути, N-Граммы отобразили схожую картину, но порой тут можно встретить то, что в текстах замечено не было):

На третьем, собственно, 300 запросов из первого столбца Вордстат:

Таким образом, мы получаем небольшую памятку для копирайтера или для самих себя, которая упростит составление ТЗ на написание текста по заданной тематике и даст понятия, которые необходимо раскрыть при написании контента.

Подводя итоги, хочется сказать: чтобы не попасть в это самое «очко виртуальной реальности», важно понимать, что наличие LSI-запросов в тексте не является гарантом нахождения статьи в ТОПе. Нужно изучить тексты на хотя бы нескольких сайтах самостоятельно, помнить про основы оптимизации любой статьи, грамотно ее оформлять, размечать и проводить еще много-много работы для того, чтобы создавать понятный и полезный контент как для поисковика, так и для пользователя.