Google предлагает новые META-теги

Google вносит изменения в стандарте REP (Robots Exclusion Protocol), протоколе исключения роботов, используемый файлами Robots.txt для googlebot. Помимо этого были представлены новые META-теги роботов: unavailable_after и X-Robots-Tag, сообщается в официальном блоге компании. Подробнее о каждом.

Мета-тег unavailable_after позволит запретить Google индексацию страницы после определенной даты. Например:
< meta name="GOOGLEBOT" content="unavailable_after: 25-Aug-2007 15:00:00 EST">
В данном случае страница будет удалена из результатов поиска после 15:00 25 августа 2007 года по EST (Eastern Standard Time). В настоящее время unavailable_after поддерживается только для Google web search results. После удаления, страница перестает показываться в результатах поиска Google, но она не удаляется из системы.

Мета-теги X-Robots-Tag. Теперь Google поддерживает новый HTTP-заголовок X-Robots-Tag: с параметрами noarchive, nosnippet, noindex, unavailable_after, значения которых аналогичны соответствующим мета-тегам.
X-Robots-Tag: noarchive, nosnippet: запрещают кэширование страницы или содержание страницы для использования в сниппете.
X-Robots-Tag: noindex: не включает странице в результаты поиска Google.
X-Robots-Tag: unavailable_after: 7 Jul 2007 16:30:00 GMT: исключает страницу из результатов поиска после определенной даты.

Например,
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 23 Jul 2007 15:00:00 PST
Это значит, что запрещается кэширование ссылки и страница должна быть удалена из результатов поиска после 15:00 23 июля 2007 года по PST (Pacific Standard Time).

Напомним, Google сообщал о скором введение нового типа тегов ‘unavailable_after’ в середине июля этого года.