Robots.txt объединит карты сайтов

Ведущие западные поисковики объединяются в попытке усовершенствовать протокол Sitemap. Как сообщается в их собственных блогах, Google, Yahoo! и Microsoft будут поддерживать кросс-представление нескольких карт сайтов с помощью файла robots.txt .

Теперь вебмастера, которые работают сразу с несколькими ресурсами, где у каждого своя карта сайта, могут разместить все sitemaps в одном месте. Раньше поисковые системы требовали, чтобы карта сайта и указанные в ней URLы имели один домен. Согласно сделанному заявлению, вебмастер может указать ссылки на URLы карт сайтов и прописать в robots.txt нужные URLы.

Например, у сайта MSN.com много поддоменов, таких как health.msn.com, travel.msn.com, moneycentral.msn.com и др. Но хотелось бы разметить все карты сайтов в одном месте, например, sitemaps.msn.com. До этого времени SiteMap-протокол не поддерживал такой сценарий, а каждая карта сайта должна была находиться на описываемом ее домене. Благодаря нынешнему нововведению это сделать можно, для этого в файле robots.txt проставляется ссылка на карту сайта, например, http://moneycentral.msn.com/robots.txt должен включать такую строку:
Sitemap: http://sitemaps.msn.com/index_moneycentral.msn.com.xml.

В первую очередь, данное нововведение будет востребовано среди владельцев крупных порталов и сайтов с большим количеством контента.

Напомним, в апреле прошлого года Google, Yahoo!, MSN объявили о принятии единого стандарта для хранения файла Sitemap XML. Разработанный сервис Auto-Discovery предполагает, что поисковый робот теперь будет сам находить файл Sitemap на сайте. Теперь не нужно его вручную закачивать в каждый поисковик. Для этого вебмастерам рекомендуется добавить в robots.txt строку:
Sitemap: http://www.example.com/sitemap.xml

Само решение совместно поддержать SiteMap Protocol было принято в 2006 году. Бесспорно, это значительно упростило вебмастерам задачу экспозиции карт сайтов для удобства индексации их поисковыми системами.