ROBOTS.TXT | Поиск по тегам

Google: не используйте robots.txt, чтобы заблокировать индексацию URL с параметрами

Такой способ приведет к потере ценности от ссылок

Марина Ибушева
11 Ноября

2 5127

Google: как заблокировать индексацию файлов Robots.txt и Sitemap

Совет от Джона Мюллера

Марина Ибушева
08 Ноября

0 4389

WordPress изменит подход к запрету индексации сайтов

На смену robots.txt придет метатег Robots

Елизавета Лосева
03 Сентября

0 3651

Google напомнил, что прекращает поддержку noindex в robots.txt с 1 сентября

И порекомендовал замены для директивы

Марина Ибушева
30 Августа

0 6966

Search Console напоминает удалить тег noindex из robots.txt

Елизавета Лосева
29 Июля

0 3700

Джон Мюллер: как ранжируются страницы, заблокированные robots.txt

Марина Ибушева
11 Июля

0 5132

Google решил сделать протокол REP для robots.txt официальным стандартом

Елизавета Лосева
02 Июля

0 2781

Google планирует полностью отказаться от директивы noindex в robots.txt

Валерия Полякова
22 Апреля

2 5959

Индексация любой ценой: проверяем все до мелочей

Многослов
21 Февраля 2018

6 4309

Яндекс рассказал об изменениях в обработке robots.txt

Поисковые роботы Яндекса перестали учитывать пустую директиву Allow как запрещающий сигнал

Валерия Полякова
10 Июня 2016

0 4792

Энциклопедия интернет-маркетинга: составляем корректный robots.txt своими руками

Несмотря на всю важность данного файла, подавляющее большинство сайтов в русском сегменте интернета не имеют правильно составленного robots.txt

Руслан Фатхутдинов
13 Января 2016

24 32115

Google рассказал, как ускорить индексацию robots.txt

Оказывается, для этого есть специальный инструмент в Search Console

Дарья Калинская
6 Января 2016

3 13104

Google Webmaster Tools поможет разблокировать ресурсы

Инструмент дополнен отчетом, который поможет обнаружить и активировать элементы визуальной составляющей страницы

Юлия Пугачева
12 Марта 2015

1 12790

Почему robots.txt не работает

Платон Щукин рассказал, почему документы, закрытые от индексации, могут попасть в результаты поиска

Жанна Рожкова
27 Февраля 2015

5 11710

Новый инструмент тестирования robots.txt в Google Webmaster Tools

Позволит выявлять ошибки, из-за которых Google не индексирует страницы сайта, редактировать файлы, проверять блокировку URL и просматривать старые версии файла

Дарья Калинская
17 Июля 2014

0 6855