ROBOTS.TXT: поиск по тегам

В рамках этой инициативы исходных код парсера robots.txt теперь выложен в открытом доступе

Об этом рассказал представитель компании Гэри Илш

30 июня исполнилось 20 лет с момента создания директивы robots.txt, при помощи который вебмастера могут блокировать доступ роботов поисковых систем к элементам сайта. Вечно молодой, вечно на страже данных наших сайтов. Поздравляем и вспоминаем интересные случаи из практики

Вспомните теорию и проверьте на практике уровень своего владения искусством составления директив для поисковиков

Страница закрыта robots.txt, но ссылка на нее есть в выдаче. Считать ли ее проиндексированной поисковиком?

По словам сервиса, причиной низкого CTR может стать неправильная настройка файла robots.txt