Автоматический геотаггинг российских веб-сайтов

Россия+7 (495) 960-65-87
Шрифт:
1 2739

Данная статья рассматривает быстрый, несложный и эффективный способ группировки по географическому признаку большого количества имеющихся в базе данных поисковой системы веб-ресурсов. Согласно данному способу во внимание принимается данные IP-адресов, доменные имена, индекс и код города. Новизна подхода состоит в возможности определения местонахождения по IP-данным (location-by-IP data) и анализа доменного имени. Этот метод предполагает использование инфраструктуры поисковой системы, что позволяет соотносить множество данных, имеющихся в базе с географическим показателем. Эксперимент был проведен над индексом поисковой системы Яндекс, результаты подтвердили эффективность данного метода.

Общие термины
Алгоритмы, дизайн, эксперимент, верификация.
Ключевые слова
Geotagging, географический поиск (GIR)

Введение

Поисковая система Яндекс индексирует все русскоязычные информационные источники, в том числе расположенные на доменах постсоветских стран. Сейчас в базе Яндекс находится более 600 млн. страниц больше, чем с 25 млн. сайтов, из которых почти 95% принадлежит России. Активная интернет-деятельность наблюдается пока только в крупных городах (Москва, Санкт-Петербург), но его стабильное популяризация ведется по всей России и странам СНГ, главным образом в отдаленных регионах. Данный факт значительно увеличивает важность и необходимость географического поиска для поисковой системы.

Вопрос частично находит свое решение в ручном редактировании каталога (http://yaca.yandex.ru). В настоящее время в каталог входит около 87 000 элементов, с прописанными вручную географическими данными; приблизительно у 48 000 элементов присутствуют идентифицирующие реквизиты российских городов. Географический реквизит составляют несколько семантических категорий места нахождения:

•место нахождения провайдера (физический адрес владельца источника);
•место нахождения контента (по географическим составляющим контента);
•территория обслуживания (на какой территории распространены сервисы веб-источника).

Прописанные вручную показатели могут передаваться субдоменам и индивидуальным страницам сайта, это не распространяется только на специфические домены (бесплатные хостинги и публичные домены). Около 140 000 российских сайтов получили географическую маркировку благодаря такой возможности (extended manual classification, EMC). Однако для комплексного исследования автоматических методов географической маркировки проиндексированных сайтов одной базы данных Яндекса недостаточно. EMC используется как верификационный набор для методов, рассматриваемых далее.

Согласно исследуемой области был определен прагматичный подход: методы должны быть эффективными, целесообразными, применимыми для максимального объема доступных данных.

1. Данные и Методы

В литературе можно найти много различных методов по использованию IP-данных о месте нахождения, доменных именах, контенте сайта (ссылки на информацию о расположении, например названия городов, телефонные коды городов, почтовые индексы) в геотаггинге (geotagging). Суть настоящего подхода заключается в наиболее эффективном сочетании множества источников географической информации.

Для регистрации городов было разработано два метода, основывающихся на:
•контенте сайта
•данных сайта (доменное имя, IP- адрес).

Рабочий процесс будет предполагать сочетание этих методов, как показано на Рис.1. Рассчитанные EMC точные (P) и выборочные (R) значения деклассифицированных сайтов, будут представлены для каждого этапа классификации. Пунктирные линии указывают на то, что результаты классификации объединены с исходными данными для последующего процесса, т.о. результаты классификации складываются в процессе работы.

1.Классификатор контент-анализа (CBC). Данный метод предполагает использование не оригинальных документов, а лишь их представления в поисковом индексе. Это не позволяет получить точный адрес страницы, зато увеличивает эффективность работы алгоритма. Были скомпилированы списки почтовых индексов 12 000 географических пунктов России [3] и телефонных кодов 2 000 городов [1] с названиями городов. Разработано два образца запросов. Первый предполагает поиск веб-страницы по почтовому индексу и по названию. Второй - по коду города, названию, элементам адреса (улица, номер телефона). Если с сайта получены некоторые из этих данных, значит, большинство из них относятся к одному и тому же географическому пункту.

2.Классификатор доменных имен (DLC). Данный метод предполагает анализ доменных имен. Во-первых, доменное имя, отражающее транслитерированное название города служит индикатором принадлежности сайта данному городу. Анализ исходных данных позволяет определить «хорошие» варианты транслитерации, например, сайты города Тверь: tver.eparhia.ru, tver.marketcenter.ru, http://www.tver.ru/ www.tver.ru. Во-вторых, это специфичные доменные имена, обычно являются аббревиатурами или уменьшительными названиями городов, например, nsk – Новосибирск, dolgopa – Долгопрудный. Если большинство известных сайтов имеют в доменном имени одинаковое название города, такой домен можно назвать «хорошим».

3.Классификатор иерархии доменного имени (DNHC). Суть метода в определении «хороших» городских доменов, сабдомены, которых могут относиться к тому же городу, например, spb.ru и omskcity.com (Санкт Петербург, Омск). Следует отметить, что DNHC используется дважды (Рис.1).

4.IP-данные о месте нахождения (Loc-by-IP). Предполагается использование внутренней базы данных IPREG, объединяющей IP-адреса хостов с соответствующими географическими пунктами. IPREG скомпилирована из различных регистрационных записей в Интернете. В IPREG собраны только «хорошие» блоки IP адресов.

5.Классификатор IP блоков (IP-blocks). Часто городским сайтам предоставляют хостинг местные провайдеры, которые не всегда состоят в IPREG или подобных базах данных. Поэтому, сайты, принадлежащие одному городу, образуют в адресном пространстве обширные блоки (блоки IP-адресов). Данный метод основан на определение «хороших» обширных блоков, тех в которых большинство известных сайтов принадлежат одному городу.

По данной схеме рабочего процесса можно сопоставить около 1,3 млн. российских сайтов из 2 млн. представленных в базе данных Яндекса.

2. Вычисление

О работе алгоритма с «хорошими» и качественными сайтами можно судить по данным EMC. Для проверки работы алгоритма в напряженных условиях был составлен набор тестовых программ. Методом случайной выборки был составлен список из 1200 сайтов, не больше чем по одному на домен второго уровня. Все сайты данного списка были автоматически промаркированы по городам или отнесены к «нулевому региону» (если город не был определен алгоритмом). Список был передан редакторам каталога Яндекса для ручного тегирования.

Полученные после этого данные позволят разделить набор тестовых программ на три категории:
•локальные сайты;
•«хорошие» сайты, не «замусоренные» (без дорвеев, полностью доработанные, актуальные);
•полное множество сайтов.

Результаты анализа алгоритма для всех этих категорий представлены в Таблице1. В первой колонке находится подмножество локальных сайтов (1). Во второй и третьей колонках автоматически определенный нулевой тег был интерпретирован как «без гео категории». Спорным остается вопрос о критерии дифференциации локальных, глобальных и ненужных сайтов; «нулевой регион» также говорит о том, что использованный метод по определению города оказался неуспешным. В итоге точные (Р) и выборочные(R) значения в данном случае остались практически без изменений.

Таблица 1. Результаты вычислений

  Локальные сайты Локальные + нелокальные сайты Вся выборка (+ ‘мусор’)
число сайтов 72310481200
точные 0,9170,7220,688
выборочные 0,751 0,6960,667
F1 0,8260,7090,677

Заключение

В этой статье мы рассмотрели возможные пути решения вопроса о геотаггировании сайтов. Методы предполагают использование большого количества источников информации, таких как IP-данные о месте нахождения, доменные имена, а также информация по контенту: прямой поиск почтового индекса и кода региона на страницах сайта. Методы функционируют в рамках инфраструктуры поисковой системы, стабильно и качественно соотносят данные поисковика с географическими данными.

Новый подход был разработан для предоставления возможности определить географическое положение сайта по контент-данным в совокупности с IP-адресом. Эта методика геотагирования представляется более точной, по сравнению с традиционными методами, основанными на анализе регистрационных данных в Интернете. Следует отметить заслугу данной методики за значительный вклад в полный анализ доменных имен.

Проделанные вычисления подтверждают приемлемость подхода в интернет-индустрии. Однако, согласно тем же вычислениям, основной трудностью подхода остается определение критериев отличия локальных сайтов от глобальных или национальных. Этот вопрос будет решен в ближайшей перспективе: планируется разработать классификатор сайтов, который будет работать без учета географического контекста.

Авторами доклада выступили специалисты компании Яндекс:
Михаил Маслов – руководитель отдела разработки поисковых сервисов
Алексей Пяллинг – разработчик
Павел Браславский – менеджер проектов отдела веб-поиска .

Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Влад Карпатов
    18
    комментариев
    0
    читателей
    Влад Карпатов
    больше года назад
    Возможно я что-то недопонял, но с помощью данного алгоритма автоматического геотаргетинга классифицируются по регионам только сайты из каталога? И еще возникает такой вопрос: какое время занимает такая классификация, прежде чем сайт будет отнесен к региональным или к "нулевому региону"?
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Тест: Кто как пробежал, или Итоги клиентского рейтинга SEOnews 2018
Анна Макарова
335
комментариев
0
читателей
Полный профиль
Анна Макарова - Друзья, спасибо всем за участие! Мы определили победителей. Кто ими стал - вы найдете по ссылке: www.seonews.ru/events/darim-knigi-ot-mif-pobediteli-opredeleny/ Если вы стали одним из победителей, обязательно свяжитесь с нами по указанной в новости (по ссылке выше) почте. Всем хороших выходных! =)
32 инструмента в помощь SEO-специалисту
luthorscorploanfirm
2
комментария
0
читателей
Полный профиль
luthorscorploanfirm - Я - г-н Марк Джо из корпорации corp, мы являемся законной, зарегистрированной и гарантированной кредитной компанией, мы предоставляем 3% -ые кредиты частным лицам, компаниям, государственным учреждениям и деловым организациям и людям всех родов. Свободные кредиты - это решение всех ваших финансовых проблем. свяжитесь с нами по электронной почте: mjoe0123@gmail.com
SEO глазами клиентов 2018
Гость
1
комментарий
0
читателей
Полный профиль
Гость - То есть *** пойми кто подался заявками и в итоге рейтинг должен называться seo глазами клиентов *** пойми каких компаний. Молодцы!
Комплексный аудит интернет-магазина от «Ашманов и партнеры». Часть 1
Александр Сова
1
комментарий
0
читателей
Полный профиль
Александр Сова - А вот и сеошники подъехали, покидать на вентилятор :D
Не очень удачный кейс продвижения сайта по услуге «Трезвый водитель» в Москве
Кирилл Щербаков
3
комментария
0
читателей
Полный профиль
Кирилл Щербаков - "даже пришлось подключить отслеживание звонков с сайта" "Даже" - как будто это что-то нереальное
Два идеальных способа разориться на старте интернет-магазина
Стас
4
комментария
0
читателей
Полный профиль
Стас - Seonews в последнее время такую чушь несет! Где вы таких афторов находите? Статья ничего не стоит и несет чушь! Кто хоть немного понимает в этом так вам и скажет, и такие де комментаторы горе-сеошники, просто смешно читать, вы хоть модерируете ваши статьи или просто для воды на сайте?! Бред сивой кобылы эта статья до самой последней точки!!!
Эксперимент: как уникальность контента влияет на продвижение сайта
Ilia Nazmutdinov
2
комментария
0
читателей
Полный профиль
Ilia Nazmutdinov - Кстати, ПФ не работают на нулевом трафике. Пока на сайт не льются тысячи показов по одним и тем же запросам влияние оказывает ток ссылочное\внешнее и внутреннее\ и внутренняя оптимизация.
Прощай, тИЦ! Яндекс переходит на новый показатель качества
Дмитрий Кондратенко
3
комментария
0
читателей
Полный профиль
Дмитрий Кондратенко - PR уже год как отменили, ТИЦ пол года не обновляется... Вы или "не те книги читали", или Вас кинули ушлые СЕОшники... www.internet-reklama.pp.ua
Яндекс перестал индексировать сайты, созданные на Wix
Константин Даткунас
3
комментария
0
читателей
Полный профиль
Константин Даткунас - Было бы интересно посмотреть саму выборку из 10 000 и методику анализа.
Расчет трафика из поисковых систем по брендовым и небрендовым запросам
Дарья Калинская
239
комментариев
0
читателей
Полный профиль
Дарья Калинская - А вот и статья :) www.seonews.ru/analytics/raschet-trafika-po-nebrendovym-zaprosam-pri-pomoshchi-r/
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
335
Комментариев
262
Комментариев
239
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
97
Комментариев
97
Комментариев
95
Комментариев
88
Комментариев
80
Комментариев
67
Комментариев
60
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55
Комментариев
54

Отправьте отзыв!
Отправьте отзыв!