×
Россия +7 (495) 139-20-33

Автоматический геотаггинг российских веб-сайтов

Россия +7 (495) 139-20-33
Шрифт:
1 3213

Данная статья рассматривает быстрый, несложный и эффективный способ группировки по географическому признаку большого количества имеющихся в базе данных поисковой системы веб-ресурсов. Согласно данному способу во внимание принимается данные IP-адресов, доменные имена, индекс и код города. Новизна подхода состоит в возможности определения местонахождения по IP-данным (location-by-IP data) и анализа доменного имени. Этот метод предполагает использование инфраструктуры поисковой системы, что позволяет соотносить множество данных, имеющихся в базе с географическим показателем. Эксперимент был проведен над индексом поисковой системы Яндекс, результаты подтвердили эффективность данного метода.

Общие термины
Алгоритмы, дизайн, эксперимент, верификация.
Ключевые слова
Geotagging, географический поиск (GIR)

Введение

Поисковая система Яндекс индексирует все русскоязычные информационные источники, в том числе расположенные на доменах постсоветских стран. Сейчас в базе Яндекс находится более 600 млн. страниц больше, чем с 25 млн. сайтов, из которых почти 95% принадлежит России. Активная интернет-деятельность наблюдается пока только в крупных городах (Москва, Санкт-Петербург), но его стабильное популяризация ведется по всей России и странам СНГ, главным образом в отдаленных регионах. Данный факт значительно увеличивает важность и необходимость географического поиска для поисковой системы.

Вопрос частично находит свое решение в ручном редактировании каталога (http://yaca.yandex.ru). В настоящее время в каталог входит около 87 000 элементов, с прописанными вручную географическими данными; приблизительно у 48 000 элементов присутствуют идентифицирующие реквизиты российских городов. Географический реквизит составляют несколько семантических категорий места нахождения:

• место нахождения провайдера (физический адрес владельца источника);
• место нахождения контента (по географическим составляющим контента);
• территория обслуживания (на какой территории распространены сервисы веб-источника).

Прописанные вручную показатели могут передаваться субдоменам и индивидуальным страницам сайта, это не распространяется только на специфические домены (бесплатные хостинги и публичные домены). Около 140 000 российских сайтов получили географическую маркировку благодаря такой возможности (extended manual classification, EMC). Однако для комплексного исследования автоматических методов географической маркировки проиндексированных сайтов одной базы данных Яндекса недостаточно. EMC используется как верификационный набор для методов, рассматриваемых далее.

Согласно исследуемой области был определен прагматичный подход: методы должны быть эффективными, целесообразными, применимыми для максимального объема доступных данных.

1. Данные и Методы

В литературе можно найти много различных методов по использованию IP-данных о месте нахождения, доменных именах, контенте сайта (ссылки на информацию о расположении, например названия городов, телефонные коды городов, почтовые индексы) в геотаггинге (geotagging). Суть настоящего подхода заключается в наиболее эффективном сочетании множества источников географической информации.

Для регистрации городов было разработано два метода, основывающихся на:
• контенте сайта
• данных сайта (доменное имя, IP- адрес).

Рабочий процесс будет предполагать сочетание этих методов, как показано на Рис.1. Рассчитанные EMC точные (P) и выборочные (R) значения деклассифицированных сайтов, будут представлены для каждого этапа классификации. Пунктирные линии указывают на то, что результаты классификации объединены с исходными данными для последующего процесса, т.о. результаты классификации складываются в процессе работы.

1. Классификатор контент-анализа (CBC). Данный метод предполагает использование не оригинальных документов, а лишь их представления в поисковом индексе. Это не позволяет получить точный адрес страницы, зато увеличивает эффективность работы алгоритма. Были скомпилированы списки почтовых индексов 12 000 географических пунктов России [3] и телефонных кодов 2 000 городов [1] с названиями городов. Разработано два образца запросов. Первый предполагает поиск веб-страницы по почтовому индексу и по названию. Второй - по коду города, названию, элементам адреса (улица, номер телефона). Если с сайта получены некоторые из этих данных, значит, большинство из них относятся к одному и тому же географическому пункту.

2. Классификатор доменных имен (DLC). Данный метод предполагает анализ доменных имен. Во-первых, доменное имя, отражающее транслитерированное название города служит индикатором принадлежности сайта данному городу. Анализ исходных данных позволяет определить «хорошие» варианты транслитерации, например, сайты города Тверь: tver.eparhia.ru, tver.marketcenter.ru, http://www.tver.ru/ www.tver.ru. Во-вторых, это специфичные доменные имена, обычно являются аббревиатурами или уменьшительными названиями городов, например, nsk – Новосибирск, dolgopa – Долгопрудный. Если большинство известных сайтов имеют в доменном имени одинаковое название города, такой домен можно назвать «хорошим».

3. Классификатор иерархии доменного имени (DNHC). Суть метода в определении «хороших» городских доменов, сабдомены, которых могут относиться к тому же городу, например, spb.ru и omskcity.com (Санкт Петербург, Омск). Следует отметить, что DNHC используется дважды (Рис.1).

4. IP-данные о месте нахождения (Loc-by-IP). Предполагается использование внутренней базы данных IPREG, объединяющей IP-адреса хостов с соответствующими географическими пунктами. IPREG скомпилирована из различных регистрационных записей в Интернете. В IPREG собраны только «хорошие» блоки IP адресов.

5. Классификатор IP блоков (IP-blocks). Часто городским сайтам предоставляют хостинг местные провайдеры, которые не всегда состоят в IPREG или подобных базах данных. Поэтому, сайты, принадлежащие одному городу, образуют в адресном пространстве обширные блоки (блоки IP-адресов). Данный метод основан на определение «хороших» обширных блоков, тех в которых большинство известных сайтов принадлежат одному городу.

По данной схеме рабочего процесса можно сопоставить около 1,3 млн. российских сайтов из 2 млн. представленных в базе данных Яндекса.

2. Вычисление

О работе алгоритма с «хорошими» и качественными сайтами можно судить по данным EMC. Для проверки работы алгоритма в напряженных условиях был составлен набор тестовых программ. Методом случайной выборки был составлен список из 1200 сайтов, не больше чем по одному на домен второго уровня. Все сайты данного списка были автоматически промаркированы по городам или отнесены к «нулевому региону» (если город не был определен алгоритмом). Список был передан редакторам каталога Яндекса для ручного тегирования.

Полученные после этого данные позволят разделить набор тестовых программ на три категории:
• локальные сайты;
• «хорошие» сайты, не «замусоренные» (без дорвеев, полностью доработанные, актуальные);
• полное множество сайтов.

Результаты анализа алгоритма для всех этих категорий представлены в Таблице1. В первой колонке находится подмножество локальных сайтов (1). Во второй и третьей колонках автоматически определенный нулевой тег был интерпретирован как «без гео категории». Спорным остается вопрос о критерии дифференциации локальных, глобальных и ненужных сайтов; «нулевой регион» также говорит о том, что использованный метод по определению города оказался неуспешным. В итоге точные (Р) и выборочные(R) значения в данном случае остались практически без изменений.

Таблица 1. Результаты вычислений

  Локальные сайты Локальные + нелокальные сайты Вся выборка (+ ‘мусор’)
число сайтов 72310481200
точные 0,9170,7220,688
выборочные 0,751 0,6960,667
F1 0,8260,7090,677

Заключение

В этой статье мы рассмотрели возможные пути решения вопроса о геотаггировании сайтов. Методы предполагают использование большого количества источников информации, таких как IP-данные о месте нахождения, доменные имена, а также информация по контенту: прямой поиск почтового индекса и кода региона на страницах сайта. Методы функционируют в рамках инфраструктуры поисковой системы, стабильно и качественно соотносят данные поисковика с географическими данными.

Новый подход был разработан для предоставления возможности определить географическое положение сайта по контент-данным в совокупности с IP-адресом. Эта методика геотагирования представляется более точной, по сравнению с традиционными методами, основанными на анализе регистрационных данных в Интернете. Следует отметить заслугу данной методики за значительный вклад в полный анализ доменных имен.

Проделанные вычисления подтверждают приемлемость подхода в интернет-индустрии. Однако, согласно тем же вычислениям, основной трудностью подхода остается определение критериев отличия локальных сайтов от глобальных или национальных. Этот вопрос будет решен в ближайшей перспективе: планируется разработать классификатор сайтов, который будет работать без учета географического контекста.

Авторами доклада выступили специалисты компании Яндекс:
Михаил Маслов – руководитель отдела разработки поисковых сервисов
Алексей Пяллинг – разработчик
Павел Браславский – менеджер проектов отдела веб-поиска .

(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Влад Карпатов
    18
    комментариев
    0
    читателей
    Влад Карпатов
    больше года назад
    Возможно я что-то недопонял, но с помощью данного алгоритма автоматического геотаргетинга классифицируются по регионам только сайты из каталога? И еще возникает такой вопрос: какое время занимает такая классификация, прежде чем сайт будет отнесен к региональным или к "нулевому региону"?
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Google Data Studio: делаем красивые отчеты по контекстной рекламе для клиентов
Светлана Зубрицкая
1
комментарий
0
читателей
Полный профиль
Светлана Зубрицкая - Нужно убрать пробелы между строк и заменить кавычки на вот такие "
#SEOnews14: мы празднуем – вы получаете подарки!
Анна Макарова
0
комментариев
0
читателей
Полный профиль
Анна Макарова - Гость, добрый день! С победителями мы связывались сразу после розыгрыша. Если мы вам не написали, значит, ваш номер не выпал. Но не расстраивайтесь, у нас обязательно будут новые розыгрыши!
Как ускорить сайт на WordPress, чтобы получить 100/100 в Google PageSpeed Insights
Георгий
1
комментарий
0
читателей
Полный профиль
Георгий - Все что рекомендуется в этой статье есть у w.tools. Ни разу не пожалел что подключился. Своя CDN сеть, кеш статики и динамики, минификация js\css и кешируемого html, оптимизация всех типов картинок и еще куча всего полезного. Сайт летает и я не знаю проблем. Могу рекомендовать от души.
Война с дубликатами. Как нужно и как не нужно канонизировать URL
Ann Yaroshenko
5
комментариев
0
читателей
Полный профиль
Ann Yaroshenko - Дмитрий, добрый день! Если вы проставили на странице с автозапчастями rel=canonical ( а я вижу в коде, что не проставили) или в HTTP хедере, то бот, как правило: выберит ту страницу главной, которую вы указали в rel=canonical ссылке. Eсли же вы этого не сделали, то бот сам выберит оригинал (алгоритмы, по которым бот это делает, скрыты Googl-ом)
«Аудит, чтобы ты заплакала…», или Что делать, когда получил сторонний аудит сайта
Евгений
1
комментарий
0
читателей
Полный профиль
Евгений - Воообще, на самом деле здесь двоякое впечатление от таких аудитов. Конечно, для полного глубокого анализа и подготовки рекомендаций по сайту - нужны доступы к системам аналитики и инструментам вебмастера. Но если оценивать подобные аудиты с точки зрения чистого SEO (которое все больше и больше становится лишь малой частью digital-маркетинга, лишь одним из каналов) - они имеют место быть. Но с оговоркой, что они сделаны с учетом анализа конкурентов/отрасли. Современные инструменты и алгоритмы позволяют делать это маркетологам в автоматическом режиме, и даже давать рекомендации - возможностями машинного обучения уже никого не удивишь. Да, полное перечисление "мифического" списка ошибок, построенного по предикативным правилам, да еще и с учетом устаревших особенностей ПС - это явный признак некачественного аудита. В первую очередь потому, что эти "ошибки" следует рассматривать в качестве рекомендаций от ПС (как и говорится в справочнике вебмастера у Яндекса/Google). Однако если эти данные даются с отсылкой на данные о конкурентах, об отрасли, используются методы ML и Natural language processing для обработки исходных данных, кластеризации запросов, классификации страниц/запросов/сайтов, определения структуры документа - такие отчеты имеют право на существование. Но ключевым моментом является то, что подобные инструменты достаточно сложны в разработке, а значит требуют квалифицированных специалистов для их разработки. Которых просто нет у студий рассылающих подобные "сео отчеты". Подобные отчеты по "ошибках" тоже неплохой источник информации, но лишь на 0 этапе анализа сайта. И в принципе, теоретически, возможно почти полное составление "хороших аудитов" без участия маркетолога, на основе лишь открытых данных сайта/внешних источников, но только при соответствующем применении всех современных возможностей анализа данных и рекомендательных систем. И в любом случае подобный "хороший отчет" требует конечного заключения от эксперта.
От мечты стать юристом к собственному SMM-агентству. Как найти себя в современном цифровом мире
Виктор Брухис
5
комментариев
0
читателей
Полный профиль
Виктор Брухис - Статья выглядит так, как пожелали редакторы и интервьюер) Вопросы к интервью подбирал не я)) Хотя, в целом я согласен с вашим видением. А за пожелание удачи большое спасибо!
BDD 2019: Как перестать убивать время на сбор и обработку тонны данных для SEO-аудита
Kosta Bankovski
4
комментария
0
читателей
Полный профиль
Kosta Bankovski - Спасибо за приятные слова! Буду и дальше делиться наработками ;)
Как провести анализ содержания страниц товаров и категорий
Никита Седнин
3
комментария
0
читателей
Полный профиль
Никита Седнин - Спасибо!
Как вывести сайт в ТОП 10 Google в 2019 году
Ирина
8
комментариев
0
читателей
Полный профиль
Ирина - Работают. Как естественные, так и закупные. >Мои сайты в первую очередь заточены на яндекс Соболезную. >Насколько поисковые алгоритмы с гугловскими у него. Разница в 10 лет. Вон в Яше все долбят на ключи, на вхождения и прочий трэш из древностей. А у Гугла, вон почитайте про eat, ymyl Не все понятно но спасибо за ответы. Я так понимаю что с ссылками деть никто точно не знает) Ну это и хорошо вообщем. Самому разбираться как то интересней. Но не всегда. Есть к примеру 2captcha.com/ru и на него 100к ссылок есть. Ну а смысл какой?
Как я пытался купить CRM-систему, но мне ее поленились продать
Kristina
1
комментарий
0
читателей
Полный профиль
Kristina - Очень рекомендую CRM-систему польской фирмы Firmao. Все функции настраиваются в соответствии с индивидуальным потребностям компании! Советую попробовать бесплатную демо-версию, чтобы попробовать все необходимые функции, без лишних кнопок и траты дополнительных финансов! :) Сайт: firmao.ru/info
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
360
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
107
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
79
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!