Такой способ приведет к потере ценности от ссылок
Совет от Джона Мюллера
На смену robots.txt придет метатег Robots
И порекомендовал замены для директивы
Поисковые роботы Яндекса перестали учитывать пустую директиву Allow как запрещающий сигнал
Несмотря на всю важность данного файла, подавляющее большинство сайтов в русском сегменте интернета не имеют правильно составленного robots.txt
Оказывается, для этого есть специальный инструмент в Search Console
Инструмент дополнен отчетом, который поможет обнаружить и активировать элементы визуальной составляющей страницы
Платон Щукин рассказал, почему документы, закрытые от индексации, могут попасть в результаты поиска
Позволит выявлять ошибки, из-за которых Google не индексирует страницы сайта, редактировать файлы, проверять блокировку URL и просматривать старые версии файла