ROBOTS.TXT: поиск по тегам

1 сентября 2019 года он перестанет работать

Закрытые для сканирования страницы попадают в выдачу, если релевантны

Платон Щукин рассказал, почему документы, закрытые от индексации, могут попасть в результаты поиска

Позволит выявлять ошибки, из-за которых Google не индексирует страницы сайта, редактировать файлы, проверять блокировку URL и просматривать старые версии файла

30 июня исполнилось 20 лет с момента создания директивы robots.txt, при помощи который вебмастера могут блокировать доступ роботов поисковых систем к элементам сайта. Вечно молодой, вечно на страже данных наших сайтов. Поздравляем и вспоминаем интересные случаи из практики

Вспомните теорию и проверьте на практике уровень своего владения искусством составления директив для поисковиков