Хочешь повысить отдачу от Директа?
Включи «Автопилот»

Автоматический геотаггинг российских веб-сайтов

Россия+7 (495) 960-65-87
Шрифт:
1 2284

Данная статья рассматривает быстрый, несложный и эффективный способ группировки по географическому признаку большого количества имеющихся в базе данных поисковой системы веб-ресурсов. Согласно данному способу во внимание принимается данные IP-адресов, доменные имена, индекс и код города. Новизна подхода состоит в возможности определения местонахождения по IP-данным (location-by-IP data) и анализа доменного имени. Этот метод предполагает использование инфраструктуры поисковой системы, что позволяет соотносить множество данных, имеющихся в базе с географическим показателем. Эксперимент был проведен над индексом поисковой системы Яндекс, результаты подтвердили эффективность данного метода.

Общие термины
Алгоритмы, дизайн, эксперимент, верификация.
Ключевые слова
Geotagging, географический поиск (GIR)

Введение

Поисковая система Яндекс индексирует все русскоязычные информационные источники, в том числе расположенные на доменах постсоветских стран. Сейчас в базе Яндекс находится более 600 млн. страниц больше, чем с 25 млн. сайтов, из которых почти 95% принадлежит России. Активная интернет-деятельность наблюдается пока только в крупных городах (Москва, Санкт-Петербург), но его стабильное популяризация ведется по всей России и странам СНГ, главным образом в отдаленных регионах. Данный факт значительно увеличивает важность и необходимость географического поиска для поисковой системы.

Вопрос частично находит свое решение в ручном редактировании каталога (http://yaca.yandex.ru). В настоящее время в каталог входит около 87 000 элементов, с прописанными вручную географическими данными; приблизительно у 48 000 элементов присутствуют идентифицирующие реквизиты российских городов. Географический реквизит составляют несколько семантических категорий места нахождения:

•место нахождения провайдера (физический адрес владельца источника);
•место нахождения контента (по географическим составляющим контента);
•территория обслуживания (на какой территории распространены сервисы веб-источника).

Прописанные вручную показатели могут передаваться субдоменам и индивидуальным страницам сайта, это не распространяется только на специфические домены (бесплатные хостинги и публичные домены). Около 140 000 российских сайтов получили географическую маркировку благодаря такой возможности (extended manual classification, EMC). Однако для комплексного исследования автоматических методов географической маркировки проиндексированных сайтов одной базы данных Яндекса недостаточно. EMC используется как верификационный набор для методов, рассматриваемых далее.

Согласно исследуемой области был определен прагматичный подход: методы должны быть эффективными, целесообразными, применимыми для максимального объема доступных данных.

1. Данные и Методы

В литературе можно найти много различных методов по использованию IP-данных о месте нахождения, доменных именах, контенте сайта (ссылки на информацию о расположении, например названия городов, телефонные коды городов, почтовые индексы) в геотаггинге (geotagging). Суть настоящего подхода заключается в наиболее эффективном сочетании множества источников географической информации.

Для регистрации городов было разработано два метода, основывающихся на:
•контенте сайта
•данных сайта (доменное имя, IP- адрес).

Рабочий процесс будет предполагать сочетание этих методов, как показано на Рис.1. Рассчитанные EMC точные (P) и выборочные (R) значения деклассифицированных сайтов, будут представлены для каждого этапа классификации. Пунктирные линии указывают на то, что результаты классификации объединены с исходными данными для последующего процесса, т.о. результаты классификации складываются в процессе работы.

1.Классификатор контент-анализа (CBC). Данный метод предполагает использование не оригинальных документов, а лишь их представления в поисковом индексе. Это не позволяет получить точный адрес страницы, зато увеличивает эффективность работы алгоритма. Были скомпилированы списки почтовых индексов 12 000 географических пунктов России [3] и телефонных кодов 2 000 городов [1] с названиями городов. Разработано два образца запросов. Первый предполагает поиск веб-страницы по почтовому индексу и по названию. Второй - по коду города, названию, элементам адреса (улица, номер телефона). Если с сайта получены некоторые из этих данных, значит, большинство из них относятся к одному и тому же географическому пункту.

2.Классификатор доменных имен (DLC). Данный метод предполагает анализ доменных имен. Во-первых, доменное имя, отражающее транслитерированное название города служит индикатором принадлежности сайта данному городу. Анализ исходных данных позволяет определить «хорошие» варианты транслитерации, например, сайты города Тверь: tver.eparhia.ru, tver.marketcenter.ru, http://www.tver.ru/ www.tver.ru. Во-вторых, это специфичные доменные имена, обычно являются аббревиатурами или уменьшительными названиями городов, например, nsk – Новосибирск, dolgopa – Долгопрудный. Если большинство известных сайтов имеют в доменном имени одинаковое название города, такой домен можно назвать «хорошим».

3.Классификатор иерархии доменного имени (DNHC). Суть метода в определении «хороших» городских доменов, сабдомены, которых могут относиться к тому же городу, например, spb.ru и omskcity.com (Санкт Петербург, Омск). Следует отметить, что DNHC используется дважды (Рис.1).

4.IP-данные о месте нахождения (Loc-by-IP). Предполагается использование внутренней базы данных IPREG, объединяющей IP-адреса хостов с соответствующими географическими пунктами. IPREG скомпилирована из различных регистрационных записей в Интернете. В IPREG собраны только «хорошие» блоки IP адресов.

5.Классификатор IP блоков (IP-blocks). Часто городским сайтам предоставляют хостинг местные провайдеры, которые не всегда состоят в IPREG или подобных базах данных. Поэтому, сайты, принадлежащие одному городу, образуют в адресном пространстве обширные блоки (блоки IP-адресов). Данный метод основан на определение «хороших» обширных блоков, тех в которых большинство известных сайтов принадлежат одному городу.

По данной схеме рабочего процесса можно сопоставить около 1,3 млн. российских сайтов из 2 млн. представленных в базе данных Яндекса.

2. Вычисление

О работе алгоритма с «хорошими» и качественными сайтами можно судить по данным EMC. Для проверки работы алгоритма в напряженных условиях был составлен набор тестовых программ. Методом случайной выборки был составлен список из 1200 сайтов, не больше чем по одному на домен второго уровня. Все сайты данного списка были автоматически промаркированы по городам или отнесены к «нулевому региону» (если город не был определен алгоритмом). Список был передан редакторам каталога Яндекса для ручного тегирования.

Полученные после этого данные позволят разделить набор тестовых программ на три категории:
•локальные сайты;
•«хорошие» сайты, не «замусоренные» (без дорвеев, полностью доработанные, актуальные);
•полное множество сайтов.

Результаты анализа алгоритма для всех этих категорий представлены в Таблице1. В первой колонке находится подмножество локальных сайтов (1). Во второй и третьей колонках автоматически определенный нулевой тег был интерпретирован как «без гео категории». Спорным остается вопрос о критерии дифференциации локальных, глобальных и ненужных сайтов; «нулевой регион» также говорит о том, что использованный метод по определению города оказался неуспешным. В итоге точные (Р) и выборочные(R) значения в данном случае остались практически без изменений.

Таблица 1. Результаты вычислений

  Локальные сайты Локальные + нелокальные сайты Вся выборка (+ ‘мусор’)
число сайтов 72310481200
точные 0,9170,7220,688
выборочные 0,751 0,6960,667
F1 0,8260,7090,677

Заключение

В этой статье мы рассмотрели возможные пути решения вопроса о геотаггировании сайтов. Методы предполагают использование большого количества источников информации, таких как IP-данные о месте нахождения, доменные имена, а также информация по контенту: прямой поиск почтового индекса и кода региона на страницах сайта. Методы функционируют в рамках инфраструктуры поисковой системы, стабильно и качественно соотносят данные поисковика с географическими данными.

Новый подход был разработан для предоставления возможности определить географическое положение сайта по контент-данным в совокупности с IP-адресом. Эта методика геотагирования представляется более точной, по сравнению с традиционными методами, основанными на анализе регистрационных данных в Интернете. Следует отметить заслугу данной методики за значительный вклад в полный анализ доменных имен.

Проделанные вычисления подтверждают приемлемость подхода в интернет-индустрии. Однако, согласно тем же вычислениям, основной трудностью подхода остается определение критериев отличия локальных сайтов от глобальных или национальных. Этот вопрос будет решен в ближайшей перспективе: планируется разработать классификатор сайтов, который будет работать без учета географического контекста.

Авторами доклада выступили специалисты компании Яндекс:
Михаил Маслов – руководитель отдела разработки поисковых сервисов
Алексей Пяллинг – разработчик
Павел Браславский – менеджер проектов отдела веб-поиска .

Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Влад Карпатов
    18
    комментариев
    0
    читателей
    Влад Карпатов
    больше года назад
    Возможно я что-то недопонял, но с помощью данного алгоритма автоматического геотаргетинга классифицируются по регионам только сайты из каталога? И еще возникает такой вопрос: какое время занимает такая классификация, прежде чем сайт будет отнесен к региональным или к "нулевому региону"?
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
SEOnews и Serpstat запускают конкурс для интернет-маркетологов
Marina Lagutina
1
комментарий
0
читателей
Полный профиль
Marina Lagutina - Добрый день! Видимо я из тех, кто пытается последней вскочить в уходящий поезд. Ночью написала статью на тему "обзор инструментов контент-маркетинга". Своего блога нет. Отправила вам не мейл. Я еще могу у вас разместиться или искать, кто возьмет статью к себе в блог?
Влияние HTTPS на ранжирование региональных поддоменов в Яндексе
NiK Malefictum
3
комментария
0
читателей
Полный профиль
NiK Malefictum - Стакивался лишь с тем, что выдачу немного лихорадит первые 2-3 недели, и если у сайта была низкая скорость загрузки - ее нужно поправить. Региональным сайтам НУЖНО ставить HTTPS немного внутряк поправить / микроразметку и прочее прописать мета и пересмотреть контент зарегать компанию в каталогах предприятий и картографии и уже делать просто сделать статейные ссылки бесплатные. и все
Мир глазами поисковых систем
Александр Рунов
18
комментариев
0
читателей
Полный профиль
Александр Рунов - Какой регион, если не секрет? В Мск, в ряде ВК тематик (в тех же "окнах" или "колесах"), без работы с внешними факторами по ВЧ запросам в ТОП не выплывешь. Хотя в большинстве направлений вполне реально.
Инфографика: самые распространенные SEO-ошибки Рунета
Dmitro Grunt
2
комментария
0
читателей
Полный профиль
Dmitro Grunt - Кстати, у проектов которые продвигает Нетпик все тайтлы не более 65 символов? Или вы надеетесь что кто то послушает советов и отдаст вам часть трафика? :-)
День рождения SEOnews: 12 лет в эфире!
Анна Макарова
0
комментариев
0
читателей
Полный профиль
Анна Макарова - Ура )
7 причин не работать на биржах копирайтинга
Dasha Shkaruba
6
комментариев
0
читателей
Полный профиль
Dasha Shkaruba - Спасибо за мнение! Кстати, на бирже главреда прием анкет закрыт
Google.ru внесли в реестр запрещенных сайтов
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Гон, все работает и будет работать. Да и пусть банят, будет как с рутрекером.
Конкурс: угадайте пятерку лидеров рейтинга «SEO глазами клиентов 2017»
Оля
1
комментарий
0
читателей
Полный профиль
Оля - 1 Ingate 2 Wezom 3 Bynjg vtlbf 4 seo energy 5 директ лайн
SEMrush: факторы ранжирования в Google в 2017 году
Анна Макарова
0
комментариев
0
читателей
Полный профиль
Анна Макарова - Уважаемый S1, я тоже понимаю, что есть такие люди, которые заметив допущенную неточность несутся на всех парусах продемонстрировать "силу" своего ума. Спасибо вам за пристальное внимание. Это поможет нам быть лучше.
Сердитый маркетолог: как вы сами хороните свой сайт, или 16 принципов, которые нужно усвоить заказчикам SEO
Руслан Латыпов
2
комментария
0
читателей
Полный профиль
Руслан Латыпов - Можно совершенно бесплатно заказать SEO-аудит своего сайта и получить все рекомендации по его продвижению a-erp.com/
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
310
Комментариев
262
Комментариев
226
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
97
Комментариев
97
Комментариев
95
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
55
Комментариев
53
Комментариев
52
Комментариев
48

Отправьте отзыв!
Отправьте отзыв!