×
Россия +7 (495) 139-20-33

75 типов данных, которые можно спарсить в Netpeak Spider и Netpeak Checker

Россия +7 (495) 139-20-33
Шрифт:
3 10770

Существует бесконечное множество примеров использования автоматического парсинга данных (поиска и извлечения данных с HTML-страниц) для сбора больших массивов информации, начиная от мониторинга цен конкурентов и заканчивая анализом популярности контента. В этой статье мы рассмотрим 75 случаев, когда вы сможете использовать парсинг с помощью инструментов Netpeak Spider и Netpeak Checker для автоматизации и упрощения рутинных задач.

В качестве дополнения к статье – список готовых параметров парсинга для наиболее популярных площадок, таких как Amazon, Google, Facebook и др., а в блоге Netpeak Software описан технический аспект парсинга во всех деталях.

Ecommerce

В сфере Ecommerce парсинг в основном используется для сбора данных о товарах и может быть реализован как на собственном сайте, так и на сайте конкурента.

Пример результатов парсинга товаров iHerb в Netpeak Spider

Пример результатов парсинга товаров iHerb в Netpeak Spider

Количество показателей, которое вы можете спарсить со страниц интернет-магазинов, ограничено лишь спецификой каждого из них. Вот основной список ключевых параметров большинства магазинов.

1. Цена

Цена – это наверняка первое, что приходит в голову в разрезе парсинга интернет-магазинов. Парсинг цены товаров, к примеру, будет полезен для сравнения и трекинга цен конкурентов для последующей корректировки ценовой политики и запуска контекстной рекламы на те товары, которые доступны у вас по более выгодной цене.

2. Ассортимент продуктов

Под ассортиментом продуктов подразумевается общее количество товаров или количество товаров определенной категории. Извлечение наименований (артикулов) товаров будет полезно для понимания полноты ассортимента в собственном магазине или магазине конкурента.

3. Описание и характеристики товара

Описание товара формирует большую часть контентной составляющей карточки товара. Для успешного продвижения этот текст должен быть немаленьким, а главное – уникальным. Зачем парсить описание со страниц конкурентов или поставщиков? Чтобы проанализировать текстовую составляющую и поставить ТЗ копирайтеру для написания уникального контента на основе уже имеющегося текста.

4. Фото товара

Качественные фото товара – важнейший компонент успеха в Ecommerce. Если по какой-то причине у вас еще нет уникальных фото, вы можете временно использовать изображения с сайта поставщика. С помощью парсинга можно быстро выгрузить список ссылок на изображения товаров.

5. Наличие товаров

Вы можете собирать данные о товарах, которых нет в наличии на складе прямого конкурента, например, чтобы стартовать контекстную рекламу для аналогичных товаров своего магазина.

6. Отзывы и рейтинговые показатели

Парсинг и последующий анализ рейтингов, оценок и отзывов позволяет выявить наиболее популярные и востребованные товары у конкурентов. Можно также выгружать и сами отзывы покупателей для более детального конкурентного анализа (например, сентимент-анализа).

7. Размер скидки на товар, либо цена по акции

Зачастую большинство карточек товаров имеют две цены – реальную и со скидкой. Парсинг указанных скидок или специальных цен со страниц акционных товаров позволяет мониторить ценовую политику и стратегию конкурентов. Особенно полезно анализировать изменение цен в периоды масштабных акций и праздничных дней, таких как «черная пятница», летние распродажи, и т.д.

8. Даты действия акционных предложений

Речь идет о выгрузке даты начала и конца скидок на конкретные товары конкурентов (это может быть даже целая категория «Распродажа» / «Акция» / «Товары со скидкой» и т.п.) для планирования собственной рекламной кампании для аналогичных товаров.

9. Доступные опции и вариации товара

Детальный анализ размерных, цветовых и технических вариаций тех или иных товаров, доступных у конкурента. Опять-таки, это нужно для выявления сильных и слабых сторон, причем как у конкурентов, так и у себя.

10. Условия доставки

Выгрузка данных о сроках и стоимости доставки с сайтов-конкурентов позволит сформировать более выгодное предложение, чем у конкурентов. Применимо в случаях, когда в интернет-магазин осуществляет доставку различными способами.

Поисковые системы: Google, Bing, Yahoo, Яндекс

Парсинг выдачи поисковых систем по конкретным запросам используется для анализа конкурентов, поиска потенциальных клиентов в заданной нише, анализа выдачи, поиска дроп-доменов и сотни различных задач.

При помощи Netpeak Checker можно извлечь исчерпывающую информацию по поисковой выдаче с указанием географических, языковых и ряда других параметров. Часть задач может быть выполнена с Netpeak Spider, однако менее удобным образом.

Парсинг поисковой выдачи с помощью Netpeak Checker

Парсинг поисковой выдачи с помощью Netpeak Checker

11. Поисковая выдача по перечню запросов

С помощью парсинга вы можете выгрузить результаты поисковой выдачи по списку ключевых запросов. Следующим шагом может быть анализ и сравнение результатов по SEO-параметрам. Таким образом вы получите актуальные данные, которые являются незаменимыми при анализе ниши и конкурентов в органике. Менее очевидным кейсом использования парсинга поисковой выдачи может быть поиск дроп-доменов.

12. Содержимое сниппетов в органической выдаче по заданным запросам

Парсинг данных (title, description, URL из сниппетов) по топовым страницам органической поисковой выдачи поможет при анализе ниши, конкурентов в органической выдаче и для понимания, какой тип контента поисковые системы предпочитают по тем или иным запросам.

13. Блок с ответом (Featured Snippet) в выдаче

Featured Snippet – это блок с готовым ответом, который Google считает наиболее релевантным запросу и выводит в самом верху выдачи. С помощью парсинга можно проверить выдачу на наличие блока с ответом, а также получить его содержание.

14. Выдача AdWords по заданному ключевику

Платная выдача может занимать до четырех позиций в начале и в конце выдачи. С помощью парсинга можно проанализировать список запросов и собрать сайты, присутствующие в платной выдаче по каждому из них.

15. Связанные запросы (блоки «Часто ищут...» и «Похожие запросы»)

Google предоставляет два вида блоков со связанными запросами – «Вместе с … часто ищут» (People also ask) и «Похожие запросы» (Searches related to). Парсинг запросов из этих блоков позволяет собрать похожие и альтернативные запросы, предлагаемые поисковой системой, для проведения исследований по ключевым словам и расширения семантики.

16. Позиции в органической выдаче

Парсинг выдачи поисковых систем отлично подходит для фиксации и мониторинга позиций своего сайта либо сайтов конкурентов по списку запросов.

Социальные сети и блог-платформы: Facebook, YouTube, Instagram, LiveJournal, LinkedIn, Pinterest, ВКонтакте и Twitter

Большинство из нас так или иначе взаимодействуют с социальными сетями и крупными блог-платформами. Они хранят и публично предоставляют множество полезной информации, которая может быть собрана с помощью парсинга.

Парсинг информации из социальных сетей в первую очередь полезен для маркетологов, sales-специалистов, комьюнити-менеджеров, аутрич-специалистов – иными словами всех, кто анализирует рынок для своих задач или, например, изучает список ранее собранных страниц для поиска потенциальной возможности сотрудничества.

Пример результатов парсинга бизнес-страниц на Facebook

Пример результатов парсинга бизнес-страниц на Facebook

17. Анализ выдачи по целевому запросу

Социальные сети являются своего рода поисковыми системами. Все они также имеют внутренний поиск, а значит мы можем собрать результаты выдачи по целевым запросам с помощью парсинга. Это значительно ускоряет процесс анализа ниши и алгоритмов выдачи той или иной социальной сети.

18. Количество лайков, дизлайков и комментариев

Лайки и комментарии – основные показатели вовлечения аудитории, что в свою очередь определяет качество площадки, сообщества, канала, и т.д. Массовый анализ показателей вовлеченности полезен для оценки качества площадок для потенциального сотрудничества и размещения рекламы, а также оценки уровня активности конкурентов в социальных сетях.

19. Количество просмотров

Количество просмотров в первую очередь определяет востребованность контента. Парсинг позволяет собрать показатели просмотров любого рода публикаций для анализа самого востребованного контента в нише.

20. Количество публикаций в аккаунте или канале

Автоматический парсинг показателей счетчика публикаций или видео для списка выбранных аккаунтов пригодится при детальном анализе конкурентов и ниши в целом. Регулярный парсинг позволяет мониторить темпы прироста контента на страницах конкурентов.

21. Количество подписчиков

Парсинг позволяет автоматизировать сбор данных о количестве подписок пользователя, канала или блога для оценки его охвата. Регулярный мониторинг количества подписчиков позволит оценить темпы роста как отдельно взятых конкурентов, так и ниши в целом.

22. Сбор публичных данных по списку бизнес-страниц

Парсинг данных о компании/бренде, ценовой политике, позиционировании и прочей информации в профиле компании.

Контактные данные

Контактные данные являются одним из наиболее частых случаев использования парсинга. Если нужно быстро собрать базу контактов потенциальных клиентов или площадок для аутрича, парсинг – это то, что вам нужно.

Однородные по форме контактные данные (номер телефона, электронная почта) лучше всего парсить при помощи Netpeak Checker или регулярных выражений в Netpeak Spider.

Парсинг контактных данных по списку сайтов с помощью Netpeak Checker

Парсинг контактных данных по списку сайтов с помощью Netpeak Checker

23. Email-адреса и номера телефонов

Netpeak Checker позволяет автоматически собрать доступные на странице email-адреса и номера телефонов. В ручном режиме доступен сбор email-адресов и номеров телефонов при помощи регулярных выражений и кастомного парсинга в Netpeak Spider.

24. Имена и должности сотрудников

У многих компаний на сайте есть страницы с описанием команды, что позволяет нам спарсить данные о сотрудниках. Может пригодиться сейлзам или рекрутерам.

25. Страницы в социальных сетях

С помощью Netpeak Checker можно автоматизировать сбор ссылок на аккаунты компании в Facebook, Twitter, Youtube, Pinterest, LinkedIn, Instagram для последующего анализа.

26. Физические адреса

Парсинг физических адресов со списка сайтов компаний. Также это может быть парсинг адресов точек сбыта, если речь идет о конкурентах с обширными сетями, которых необходимо обойти в тех или иных регионах.

27. Контактная информация из микроразметки

Микроразметка Schema.org позволяет компаниям обозначить для поисковых систем свой адрес, контактные данные, время работы и множество другой полезной информации.

Контент

Парсинг – частое явление в контент-маркетинге: с его помощью можно быстро собрать основные данные о контенте конкурентов или своем собственном, что значительно ускоряет процесс анализа.

Пример парсинга метрик статей на vc.ru с помощью Netpeak Spider

Пример парсинга метрик статей на vc.ru с помощью Netpeak Spider

28. Ошибки в тексте

Кастомный парсинг с помощью регулярных выражений позволяет автоматизировать поиск распространенных ошибок либо, к примеру, устаревших после ребрендинга вариаций названия бренда или определенных товаров. Таким образом вы можете найти любое упоминание определенного слова на страницах всего сайта.

29. Имена авторов

Популярным примером использования парсинга в контент-маркетинге является сбор базы имен авторов на популярных блогах для последующего аутрича. В совокупности с данными о контенте можно провести анализ наиболее популярных авторов на той или иной площадке.

30. Количественные характеристики текста

При помощи парсинга можно анализировать общий объем текста, объем текста без пробелов, количество изображений и видео на странице, а также количество слов, что может быть актуально для:

  • тех, кто оптимизирует контент на собственном сайте;
  • тех, кто анализует контент отдельно взятых конкурентов или лидирующие страницы в выдаче по определенным запросам.

31. Метатеги

Парсинг title, meta description, H1–H6 заголовков позволяет проанализировать то, как конкуренты структурируют свой контент и какие приемы оптимизации используют. Если вы хотите собрать и проанализировать полный список статей конкурента, метатеги – важнейший объект анализа.

32. Показатели виральности контента

К показателям виральности контента относятся: просмотры, лайки, апвоуты, репосты, комментарии и другие метрики вовлечения. Зачастую многие из них выведены на странице соответствующей статьи. Парсинг данных метрик позволяет выявить наиболее популярный и виральный контент конкурентов или блог-площадок.

Amazon

Парсинг Amazon особенно востребован у вебмастеров, продвигающих сайты под партнерскую программу этой площадки.

33. Характеристики товаров

С карточек товаров на Amazon можно выгрузить цену, рейтинг товара, описание и другие важные параметры. В дальнейшем их можно использовать при наполнении своего сайта и как основу для написания статей-обзоров.

34. Отзывы о товаре

Парсинг отзывов о товарах на Amazon будет полезен для анализа их содержания и выявления словесных конструкций, чаще всего используемых для описания тех или иных продуктов. Использование таких инсайтов при написании обзоров сделает их более натуральными, что в свою очередь может повысить конверсии.

Пример результатов парсинга информации о товарах на Amazon в Netpeak Spider

Пример результатов парсинга информации о товарах на Amazon в Netpeak Spider

Wikipedia

Wikipedia является самой масштабной цифровой энциклопедией. А где много контента – там много способов применить парсинг. Наиболее распространенные кейсы парсинга Wikipedia в основном связаны с линкбилдингом.

Пример результатов парсинга Wikipedia в Netpeak Spider

Пример результатов парсинга Wikipedia в Netpeak Spider

35. Список источников в статье

Под списком источников подразумеваются исходящие ссылки из разделов «Примечания», «Литература» и «Ссылки». Выгрузка списка указанных в статье источников будет полезна для поиска авторитетных сайтов в выбранной нише и поиска битых ссылок и дроп-доменов для последующего линкбилдинга.

36. Запросы на уточнение информации

Поиск нишевых статей, которые нуждаются в дополнении и уточнении и в которых можно указать источник на своем сайте либо же разместить свою информацию и улучшить рейтинг профиля на Wiki.

37. Инфобоксы

Инфобокс представляет собой таблицу с фактической информацией об объекте статьи. Зачастую инфобокс присутствует в статьях о людях, местах, фильмах, и т.д.

Whois

Whois – это сетевой протокол прикладного уровня, использующийся для получения данных о доменах. С помощью Netpeak Checker можно автоматизировать сбор информации по списку доменов.

Пример парсинга Whois в Netpeak Checker

Пример парсинга Whois в Netpeak Checker

38. Дата создания и срок истечения домена

Whois позволяет узнать дату регистрации и дату истечения срока оплаты домена. С помощью этих данных можно узнать возраст доменов, а также найти домены с истекающим или уже истекшим сроком действия (т.н. дроп-домены).

39. Email владельца / регистратора домена

Парсинг контактных email-адресов интересующих вас доменов пригодится для последующей связи с владельцем / регистратором.

SimilarWeb

SimilarWeb является всемирно известным сервисом, с помощью которого можно проанализировать трафик любого сайта, а также множество других полезных параметров. Те, у кого есть ключ к платной версии этого сервиса, могут автоматизировать процесс сбора параметров в Netpeak Checker.

Однако с помощью парсинга в Netpeak Spider и пары минут несложных махинаций можно бесплатно получить основные параметры SimilarWeb для списка доменов. Условия парсинга вы сможете найти в документе.

Пример парсинга SimilarWeb с помощью Netpeak Spider

Пример парсинга SimilarWeb с помощью Netpeak Spider

40. Объем трафика

Основной функцией SimilarWeb является анализ трафика. Трафик является одной из главных метрик оценки сайта. С помощью парсинга можно проанализировать список доменов и получить их месячный трафик.

41. Среднее время визита и глубина просмотра сайта

SimilarWeb предоставляет среднюю длительность сессии, количество страниц, просмотренных за сессию, и показатель отказов. Данные параметры позволяют детальнее проанализировать качество площадки.

42. Источники трафика

Сбор статистических данных по соотношению переходов с основных каналов трафика к общему числу посещений. Также можно получить ТОП 5 стран, которые приводят наибольшее число посетителей, и 5 доменов, генерирующих больше всего реферального трафика. Эти метрики важны для анализа площадок и понимания стратегии продвижения конкурентов.

Конкретные части кода на сайтах или отдельных страницах

С помощью парсинга можно реализовать поиск определенных участков кода по списку сайтов для понимания, какие из них пользуются или не пользуются каким-то конкретным функционалом.

Пример парсинга элементов Schema, кода GTM, GA, и OpenGraph с помощью Netpeak Spider

Пример парсинга элементов Schema, кода GTM, GA, и OpenGraph с помощью Netpeak Spider

43. Перечень используемых на сайте технологий или скриптов

Нужно проверить, какие сайты из списка используют онлайн-чат или другие технологии, присутствующие в исходном коде? С помощью парсинга можно быстро собрать информацию касательно используемых на сайте технологий, скриптов и надстроек.

44. Микроразметка Schema

Микроразметка Schema.org используется для структурирования и передачи информации поисковым системам. Существует более 600 типов Schema для различных нужд. Парсинг структурированных данных позволяет собрать ключевую информацию со страниц сайта. Например, спарсив элементы Organization Schema, можем получить адрес, лого, контактную информацию, и т.д.

45. Hreflang

Hreflang позволяет настроить мультиязычность и мультирегиональность для интернациональных сайтов. Чтобы проверить правильность постановки тегов на всех страницах сайта, достаточно указать несколько условий парсинга и просканировать сайт.

46. Google Analytics и Google Tag Manager

Нередки случаи, когда из-за неправильного проставления кода GA или GTM возникают проблемы с аналитикой. С помощью парсинга можно проверить наличие кодов на всех страницах сайта и их корректность.

47. Open Graph и Twitter Cards

С помощью разметки Open Graph и Twitter Cards можно указать контент, который вы хотите видеть в сниппете при публикации страницы сайта в социальных сетях. С помощью парсинга можно проверить наличие и корректность простановки метатегов на страницах.

Бизнес-каталоги: Yelp, Yellow Pages, BBB

Yelp, Yellow Pages, Better Business Bureau – широко распространенные сайты-справочники на западных рынках, особенно в США. Миллионы бизнесов размещают на этих сайтах свои контактные данные, а посетители могут оставить отзыв и оценить заведение или услугу. С помощью парсинга можно выгрузить список локальных бизнесов и данные по ним.

Пример парсинга Yelp с помощью Netpeak Spider

Пример парсинга Yelp с помощью Netpeak Spider

48. Список локальных бизнесов

Хотите получить список всех кафе или дантистов в округе Чикаго или в центре Рима? «Желтые страницы» – идеальный источник подобной информации. С помощью продвинутой сортировки можно добиться наиболее релевантных результатов, а с помощью парсинга – извлечь нужный список.

49. Адрес и контактные данные

Физический адрес и контактные данные – основа справочника. С помощью парсинга можно автоматизировать сбор номера телефона, физического адреса, адреса сайта,

времени работы по списку бизнесов. Ваши sales-специалисты скажут вам большое спасибо.

50. Рейтинг бизнеса

Общий рейтинг и количество отзывов являются показателями популярности и качества бизнеса с точки зрения клиента и также играют важную роль в анализе конкурентов. С помощью регулярного парсинга можно мониторить темпы роста популярности конкурентов.

51. Список людей, оставивших отзыв

Люди, посетившие и написавшие отзывы о ваших конкурентах, являются идеальной целевой аудиторией. Спарсив список их профилей, вы можете использовать их в различных маркетинговых целях. Например, уведомить об акционном предложении или попросить написать отзыв о своем заведении.

52. Текст отзывов

По состоянию на 30 июня 2019 на Yelp было опубликовано 192 миллиона отзывов о различных бизнесах по всему миру. Потребуется много времени и мощностей, чтобы спарсить их все, но можно с легкостью собрать отзывы о вашем бизнесе или бизнесе конкурентов. Эти данные будут полезны для определения сильных и слабых сторон.

Магазины цифрового контента: Google Play Store, AppStore, Steam и др.

Парсинг магазинов цифрового контента наверняка заинтересует маркетологов и предпринимателей в сфере разработки приложений. Он позволяет автоматизировать сбор информации об уже доступных конкурентах.

Пример результатов парсинга страниц приложений в Google Play Store

Пример результатов парсинга страниц приложений в Google Play Store

53. Список приложений по ключевому запросу

Парсинг списка приложений в выдаче магазина позволяет собрать список всех приложений по ключевому слову. Используя фильтрацию по определенным параметрам, можно, к примеру, собрать список самых популярных продуктов.

54. Статистические показатели каждого приложения

Имея на руках список страниц приложений, можно с легкостью собрать информацию о количестве скачиваний, обновлениях, оценках и других статистических показателях приложений для их дальнейшего анализа и сравнения.

55. Технические данные продукта

Извлечение информации технического характера о приложениях (размер, цена, компания-разработчик и т.д.) пригодится для массового анализа и выявления сильных и слабых сторон конкурентов.

56. Отзывы пользователей

Аналогично парсингу отзывов из интернет-магазинов можно выгрузить список комментариев и отзывов пользователей к приложениям конкурентов. Разделив позитивные и негативные комментарии, можно лучше узнать о сильных и слабых сторонах конкурентов.

Reddit и Hacker News

Reddit – самая оживленная площадка пользовательского контента в мире, месячный трафик которой составляет 1,4 млрд человек в месяц. Собирая столь внушительную аудиторию, Reddit стал популярной площадкой для ведения маркетинговой активности, особенно для маркетологов, работающих на западных рынках. Парсинг позволяет найти релевантные сабреддиты, а также найти тип контента, который вызывает наибольший интерес.

Hacker News – агрегатор новостей из мира IT и предпринимательства. С помощью парсинга можно проанализировать контент, которым люди делятся на подобных площадках, и найти «горячие» темы.

Пример парсинга Reddit с помощью Netpeak Spider

Пример парсинга Reddit с помощью Netpeak Spider

57. Количество комментариев или апвоутов

Так как подобные площадки ежедневно генерируют тонны контента, важно понимать, какой контент получает наибольший отклик. Выгрузка количественных показателей вовлеченности важна для анализа самых вовлекающих публикаций в тематике и понимания того, каких показателей нужно достичь вашим постам.

58. Число подписчиков

Количество сабреддитов на Reddit давно перевалило за отметку в один миллион. Некоторые из них «мертвы», но многие ежедневно посещают тысячи людей. Парсинг количества подписчиков (в том числе в сети) позволяет оценить потенциал сабреддита для последующей маркетинговой активности.

59. Список постов

Парсинг позволяет получить список постов определенной тематики. В зависимости от выбранной сортировки можно выгрузить список постов по новизне, популярности или обсуждаемости для дальнейшего анализа.

60. Список модераторов и данные об их последней активности

У каждого сабреддита есть хотя бы один модератор. С помощью парсинга можно получить список модераторов, а также данные об их последней активности. Эта информация полезна для выявления неактивных модераторов, чтобы подать запрос на модерирование их сабреддитов.

61. Список активных пользователей сабреддита

Запускаете новый продукт и хотите узнать фидбек от целевых пользователей? Кто как не читатели целевого сабреддита могут дать самый ценный отзыв. Все, что нужно, это собрать ссылки на профили людей, активных в целевом сабреддите, и осуществить дальнейший аутрич. Не забудьте предложить что-то взамен, иначе зачем кому-то тратить на вас свое время?

62. Информация о пользователях Reddit из Snoopsnoo

Snoopsnoo – это платформа для аналитики пользователей и сабреддитов на Reddit. Предварительно собрав список пользователей из нужного сабреддита, можно сгенерировать с каждым из них ссылки типа snoopsnoo.com/u/user-name. Из полученных страниц можно извлечь всю информацию о собранной целевой аудитории, включая семейное положение, место жительства и т.д.

Quora

Quora – одна из самых популярных площадок вопросов и ответов. Более 300 миллионов пользователей каждый день задают там вопросы, делятся информацией и используют Quora в маркетинговых целях.

Пример парсинга Quora с помощью Netpeak Spider

Пример парсинга Quora с помощью Netpeak Spider

Парсинг Quora будет полезен для получения списка релевантных вопросов, выгрузки лучших ответчиков, оценки списка вопросов и т.д.

63. Список последних или топовых вопросов

Парсинг позволяет получить список самых свежих или популярных вопросов в теме или по определенному запросу для понимания интересов ЦА и дальнейшего анализа самих вопросов.

64. Количество просмотров, ответов и заинтересованных пользователей

Выгрузив список релевантных вопросов с помощью парсинга, можно также получить информацию по каждому из них. Например, выгрузить показатели просмотров и оставленных ответов на вопрос, а также число пользователей, которые сочли его интересным (фолловеров).

65. Список топовых ответчиков

Для каждой категории вопросов на Quora есть список самых просматриваемых авторов ответов. Как вы уже могли догадаться, парсинг позволяет выгрузить список наиболее читаемых ответчиков (лидеров мнений) в выбранном топике для последующего анализа их активности и аутрича.

66. Доступность Answer Wiki для выбранных целевых вопросов

Answer Wiki – это блок с быстрым ответом, в котором наиболее эффективно размещать ссылки на релевантные страницы своего сайта. Парсинг позволяет выявить, для каких вопросов уже высвечивается автоматический Answer Wiki и нет возможности его дополнить, а для каких следует побыстрее написать ответ и разместить свою ссылку.

WikiHow

WikiHow – интернет-сообщество вики-типа, состоящее из более 200 000 «How to» статей. С помощью парсинга можно собрать список вопросов, содержащих релевантное ключевое слово, узнать количество просмотров каждого из них или, например, выгрузить вопросы, для которых все еще нет статьи.

Пример парсинга WikiHow с помощью Netpeak Spider

Пример парсинга WikiHow с помощью Netpeak Spider

67. Вопросы по целевым тематикам

Осуществив поиск по нужному ключевому слову, можно выгрузить два типа списков вопросов. Первый будет включать уже написанные статьи с вхождением ключевого слова в заголовке. Второй – вопросы, по которым еще нет статьи. Первый список можно использовать для дальнейшего анализа, а с помощью второго можно найти релевантные вопросы и написать выгодный контент.

68. Статистика статей

В каждой статье есть блок со статистикой. Из него можно извлечь следующую информацию: количество соавторов, просмотров, рейтинг публикации. В дальнейшем эту информацию можно использовать для выявления самых популярных тем.

69. Дата последнего обновления контента

Этот показатель вынесен в отдельный пункт не зря. Спарсив дату обновления статей, можно найти те, которые давно не обновлялись, чтобы дополнить их выгодным для себя контентом.

G2 Crowd

G2Crowd – одна из самых крупных платформ отзывов о программном обеспечении и услугах, связанных с IT-сферой. На момент написания этого поста сайт содержал более 840 тысяч обзоров. Парсинг позволяет получить список релевантных программ, отзывы о них, а также профили людей, оставивших отзыв.

Пример парсинга G2Crowd с помощью Netpeak Spider

Пример парсинга G2Crowd с помощью Netpeak Spider

70. Список релевантных продуктов

G2Crowd сортирует продукты по множествам категорий и подкатегорий. Выбрав релевантную категорию и отсортировав продукты по нужным критериям, можно с помощью парсинга собрать список страниц для последующего анализа.

71. Рейтинг и количество отзывов

Парсинг позволяет собрать общее количество отзывов и рейтинг по списку продуктов конкурентов. Эти данные будут полезны для первичного анализа успехов конкурентов на G2Crowd и последующей их сортировки.

72. Содержание отзывов о продукте

Парсинг позволяет выгрузить текст отзывов о вашем продукте или продукте конкурента. Эти данные незаменимы для SWOT-анализа, сентимент-анализа и улучшения маркетинговой стратегии. После выгрузки отзывов с помощью нехитрой функции можно разделить их на положительную и отрицательную части отзыва для более точного анализа.

73. Список пользователей, оставивших отзыв

Параллельно со сбором текстов отзывов можно парсить ссылки на профили пользователей, оставивших их. Например, их можно использовать для аутрича пользователей, которые написали отзыв на продукт конкурента.

Stack Exchange

Stack Exchange – площадка вопросов и ответов, состоящая из 173 нишевых подкатегорий, одной из которых является самый крупный ресурс для разработчиков – Stack Overflow. Парсинг позволяет автоматизировать поиск популярных тем и подходящих вопросов для повышения репутации.

Пример парсинга Stack Exchange с помощью Netpeak Spider

Пример парсинга Stack Exchange с помощью Netpeak Spider

74. Список релевантных вопросов

Настроив нужную сортировку, с помощью парсинга можно извлечь список ссылок на релевантные вопросы. В дальнейшем их можно отсортировать по показателям из следующего пункта.

75. Параметры вопроса

Спарсив список вопросов, можем дополнить его данными по каждому вопросу. Например, можно выгрузить количество просмотров и ответов, дату создания вопроса и последней активности. Таким образом можно выбрать наиболее подходящие вопросы для ответа и повышения репутации.


Эти 75 примеров покрывают лишь немногую часть наиболее распространенных способов использования парсинга в рабочем процессе интернет-маркетологов, специалистов по Business Development, вебмастеров и всех, кто сталкивается с задачей поиска и сбора информации в больших объёмах.

А вы уже использовали парсинг в своей работе? Делитесь в комментариях своими кейсами :)

(Голосов: 16, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Ане Макаровой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Евгения
    12
    комментариев
    0
    читателей
    Евгения
    2 недели назад
    Лучшая статья по парсингу, которую когда-либо видела!
    -
    3
    +
    Ответить
  • crazy lemeng
    2
    комментария
    0
    читателей
    crazy lemeng
    3 недели назад
    Это было очень круто. А теперт под каждым пунктом инструкцию, где это найти в программах Нетпика. Потому что я регулярно их оплачиваю, но первый раз вижу, что модно делать такое.
    -
    5
    +
    Ответить
    • Anastasiya Mykhaylova
      1
      комментарий
      0
      читателей
      Anastasiya Mykhaylova
      crazy lemeng
      2 недели назад
      Привет, я Настя из Netpeak Software. Увидела ваш комментарий и решила помочь. Обратите внимание на ссылку в начале поста, там прикреплён документ со списком параметров для парсинга в Netpeak Spider → bit.ly/338Opn0
      А если всё таки возникнут вопросы, мы всегда с радостью проведём для вас демо. Записывайтесь на нашем сайте → netpeaksoftware.com/ru/demo
      -
      2
      +
      Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
#SEOnews14: мы празднуем – вы получаете подарки!
Анна Макарова
0
комментариев
0
читателей
Полный профиль
Анна Макарова - Гость, добрый день! С победителями мы связывались сразу после розыгрыша. Если мы вам не написали, значит, ваш номер не выпал. Но не расстраивайтесь, у нас обязательно будут новые розыгрыши!
Что скрывает «Прогноз бюджета Яндекс.Директ»?
Михаил Мухин
9
комментариев
0
читателей
Полный профиль
Михаил Мухин - Дожидаться 100 попыток не будем - не дождемся :) Подведем итоги и опубликуем решение 13 Декабря
Как ускорить сайт на WordPress, чтобы получить 100/100 в Google PageSpeed Insights
Георгий
1
комментарий
0
читателей
Полный профиль
Георгий - Все что рекомендуется в этой статье есть у w.tools. Ни разу не пожалел что подключился. Своя CDN сеть, кеш статики и динамики, минификация js\css и кешируемого html, оптимизация всех типов картинок и еще куча всего полезного. Сайт летает и я не знаю проблем. Могу рекомендовать от души.
Война с дубликатами. Как нужно и как не нужно канонизировать URL
Ann Yaroshenko
5
комментариев
0
читателей
Полный профиль
Ann Yaroshenko - Дмитрий, добрый день! Если вы проставили на странице с автозапчастями rel=canonical ( а я вижу в коде, что не проставили) или в HTTP хедере, то бот, как правило: выберит ту страницу главной, которую вы указали в rel=canonical ссылке. Eсли же вы этого не сделали, то бот сам выберит оригинал (алгоритмы, по которым бот это делает, скрыты Googl-ом)
«Аудит, чтобы ты заплакала…», или Что делать, когда получил сторонний аудит сайта
Евгений
1
комментарий
0
читателей
Полный профиль
Евгений - Воообще, на самом деле здесь двоякое впечатление от таких аудитов. Конечно, для полного глубокого анализа и подготовки рекомендаций по сайту - нужны доступы к системам аналитики и инструментам вебмастера. Но если оценивать подобные аудиты с точки зрения чистого SEO (которое все больше и больше становится лишь малой частью digital-маркетинга, лишь одним из каналов) - они имеют место быть. Но с оговоркой, что они сделаны с учетом анализа конкурентов/отрасли. Современные инструменты и алгоритмы позволяют делать это маркетологам в автоматическом режиме, и даже давать рекомендации - возможностями машинного обучения уже никого не удивишь. Да, полное перечисление "мифического" списка ошибок, построенного по предикативным правилам, да еще и с учетом устаревших особенностей ПС - это явный признак некачественного аудита. В первую очередь потому, что эти "ошибки" следует рассматривать в качестве рекомендаций от ПС (как и говорится в справочнике вебмастера у Яндекса/Google). Однако если эти данные даются с отсылкой на данные о конкурентах, об отрасли, используются методы ML и Natural language processing для обработки исходных данных, кластеризации запросов, классификации страниц/запросов/сайтов, определения структуры документа - такие отчеты имеют право на существование. Но ключевым моментом является то, что подобные инструменты достаточно сложны в разработке, а значит требуют квалифицированных специалистов для их разработки. Которых просто нет у студий рассылающих подобные "сео отчеты". Подобные отчеты по "ошибках" тоже неплохой источник информации, но лишь на 0 этапе анализа сайта. И в принципе, теоретически, возможно почти полное составление "хороших аудитов" без участия маркетолога, на основе лишь открытых данных сайта/внешних источников, но только при соответствующем применении всех современных возможностей анализа данных и рекомендательных систем. И в любом случае подобный "хороший отчет" требует конечного заключения от эксперта.
От мечты стать юристом к собственному SMM-агентству. Как найти себя в современном цифровом мире
Виктор Брухис
5
комментариев
0
читателей
Полный профиль
Виктор Брухис - Статья выглядит так, как пожелали редакторы и интервьюер) Вопросы к интервью подбирал не я)) Хотя, в целом я согласен с вашим видением. А за пожелание удачи большое спасибо!
BDD 2019: Как перестать убивать время на сбор и обработку тонны данных для SEO-аудита
Kosta Bankovski
4
комментария
0
читателей
Полный профиль
Kosta Bankovski - Спасибо за приятные слова! Буду и дальше делиться наработками ;)
Как провести анализ содержания страниц товаров и категорий
Никита Седнин
3
комментария
0
читателей
Полный профиль
Никита Седнин - Спасибо!
Как вывести сайт в ТОП 10 Google в 2019 году
Ирина
8
комментариев
0
читателей
Полный профиль
Ирина - Работают. Как естественные, так и закупные. >Мои сайты в первую очередь заточены на яндекс Соболезную. >Насколько поисковые алгоритмы с гугловскими у него. Разница в 10 лет. Вон в Яше все долбят на ключи, на вхождения и прочий трэш из древностей. А у Гугла, вон почитайте про eat, ymyl Не все понятно но спасибо за ответы. Я так понимаю что с ссылками деть никто точно не знает) Ну это и хорошо вообщем. Самому разбираться как то интересней. Но не всегда. Есть к примеру 2captcha.com/ru и на него 100к ссылок есть. Ну а смысл какой?
Как я пытался купить CRM-систему, но мне ее поленились продать
Kristina
1
комментарий
0
читателей
Полный профиль
Kristina - Очень рекомендую CRM-систему польской фирмы Firmao. Все функции настраиваются в соответствии с индивидуальным потребностям компании! Советую попробовать бесплатную демо-версию, чтобы попробовать все необходимые функции, без лишних кнопок и траты дополнительных финансов! :) Сайт: firmao.ru/info
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
360
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
107
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
79
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!