Robots.txt меняются к лучшему
Google Webmaster Central Blog
В дополнение, появилась функция, которая позволяет запретить индексацию картинок сайта, бот проиндексирует весь сайт, кроме папки с изображениями. Помимо этого, Google расширил предоставляемую отчетность, теперь она включает данные о всех случавшихся проблемах, а не о первой, как было раньше.
Так выглядела отчетность раньше.
Так она выглядит теперь.
Напомним, некоторое время назад Google внес изменения в стандарте REP (Robots Exclusion Protocol), протоколе исключения роботов, используемый файлами Robots.txt для googlebot. Были представлены новые META-теги роботов: unavailable_after и X-Robots-Tag, сообщается в официальном блоге компании.
Случилось что-то важное? Поделитесь новостью с редакцией.