Недавно полученный Google патент обсуждает один из инструментов , позволяющий задать частоту сканирования сайта роботами Google. Впрочем, описание в патенте не ограничивается одним инструментом, а включает в себя и другие процессы, связанные с инструментами для вебмастеров. Среди них:
- Процесс подтверждения владения сайтом, используемый вебмастерами в Google.
- Генерация карты сайта в XML.
- Каким образом карты сайта в XML могут быть просканированы поисковой машиной.
- Выбор предпочитаемой версии домена (например, с или без www).
- Информирование поисковой машины о переносе сайта на новый домен.
- Установка частоты сканирования сайта.
Патент:
Система и методы предоставления владельцам сайтов возможности управления частотой сканирования в системе индексирования веб-сайтов
Изобретатели: Vanessa Fox, Amanda Ann Camp, Maximilian Ibel, Patrik Rene Celeste Reali, Jeremy J. Lilley, Katherine Jane Lai, Ted J. Bonkenburg, Neal Douglas Cardwell
Принадлежит Google
US Patent 7,599,920
Одобрено 6 октября 2009
Подано на рассмотрение 12 октября 2006
Аннотация
Веб-краулеры сканируют веб-сайты, чтобы получить доступ к документам сайтов с целью индексирования упомянутых документов для поисковых машин. Веб-краулеры сканируют определенный сайт с определенной частотой, которая зависит от множества факторов. Одним из факторов является предустановленное ограничение частоты сканирования. Согласно некоторым модификациям, владелец определенного сайта сможет изменять частоту сканирования упомянутого сайта при соответствии одному или нескольким предустановленным критериям.
Карты сайтов в XML
Описательная часть патента начинается с довольно большой порции данных о том, как генератор карт сайтов в XML может быть использован для создания файлов на основе XML, которые смогут быть использованы поисковой машиной для получения сведений о страницах сайта. Карта сайта в XML не обязательно является лишь перечислением адресов страниц сайта. Она может включать в себя данные о страницах, вроде времени последней модификации или доступа к странице.
Несмотря на то, что Google и так предоставляют довольно обширную справку по картам сайтов в XML на своем сайте, в патенте приводятся дополнительные данные о возможностях, которые мы можем увидеть, а можем и не увидеть, в будущем. И некоторые из них довольно интересны.
Например, нам говорят, что карта сайта может содержать специфическую информацию о сайте, вроде различных частот сканирования для сайта в различное время.
Другим примером специфичной информации в XML карте сайта может быть включение информации о географическом месторасположении, связанном с сайтом, или информации о поддерживаемых сайтом языках.
Генератор карт сайтов в XML, описанный в патенте, также может просматривать логи доступа к сайту для обнаружения адресов, которые выдавали ошибку при обращении, дабы не включать их в карту сайта. Также может проверяться популярность отдельных страниц, частота их посещения и т.д. В результате более популярные страницы могут сканироваться в первую очередь и более часто, нежели остальные страницы сайта.
Выводы
В патенте также приводятся данные об инструментах, которые могут быть использованы для настройки предпочитаемой версии доменного имени (с или без www), и перенастройки адреса сайта при его смене и установке редиректа по старому адресу. Несмотря на то, что инструменты Google для вебмастеров существуют уже давно, возможность изменения адреса сайта была анонсирована лишь в июне этого года. Так что некоторые возможности, описанные в патенте, еще только готовятся к запуску или начинают свою работу.
Очень детально в патенте описан процесс верификации владения сайтом для получения доступа к инструментам вебмастера, как и информация об установлении частоты сканирования для сайта.
Если вы пользуетесь инструментами Google для вебмастеров, то наверняка узнаете многие из описанных в патенте возможностей. Если же вы не пользовались упомянутой выше системой, то информация в патенте окажется для вас довольно интересной и познавательной.
Переводной материал,
