ROBOTS.TXT | Поиск по тегам

Google: не используйте robots.txt, чтобы заблокировать индексацию URL с параметрами

Такой способ приведет к потере ценности от ссылок

Марина Ибушева
11 Ноября 2019

2 6411

Google: как заблокировать индексацию файлов Robots.txt и Sitemap

Совет от Джона Мюллера

Марина Ибушева
8 Ноября 2019

0 5216

WordPress изменит подход к запрету индексации сайтов

На смену robots.txt придет метатег Robots

Елизавета Лосева
3 Сентября 2019

0 4228

Google напомнил, что прекращает поддержку noindex в robots.txt с 1 сентября

И порекомендовал замены для директивы

Марина Ибушева
30 Августа 2019

0 7766

Search Console напоминает удалить тег noindex из robots.txt

Елизавета Лосева
29 Июля 2019

0 4454

Джон Мюллер: как ранжируются страницы, заблокированные robots.txt

Марина Ибушева
11 Июля 2019

0 5653

Google решил сделать протокол REP для robots.txt официальным стандартом

Елизавета Лосева
2 Июля 2019

0 3490

Google планирует полностью отказаться от директивы noindex в robots.txt

Валерия Полякова
22 Апреля 2019

2 6583

Индексация любой ценой: проверяем все до мелочей

Многослов
21 Февраля 2018

6 4876

Яндекс рассказал об изменениях в обработке robots.txt

Поисковые роботы Яндекса перестали учитывать пустую директиву Allow как запрещающий сигнал

Валерия Полякова
10 Июня 2016

0 5086

Энциклопедия интернет-маркетинга: составляем корректный robots.txt своими руками

Несмотря на всю важность данного файла, подавляющее большинство сайтов в русском сегменте интернета не имеют правильно составленного robots.txt

Руслан Фатхутдинов
13 Января 2016

24 33742

Google рассказал, как ускорить индексацию robots.txt

Оказывается, для этого есть специальный инструмент в Search Console

Дарья Калинская
6 Января 2016

3 13830

Google Webmaster Tools поможет разблокировать ресурсы

Инструмент дополнен отчетом, который поможет обнаружить и активировать элементы визуальной составляющей страницы

Юлия Пугачева
12 Марта 2015

1 13149

Почему robots.txt не работает

Платон Щукин рассказал, почему документы, закрытые от индексации, могут попасть в результаты поиска

Жанна Рожкова
27 Февраля 2015

5 12352

Новый инструмент тестирования robots.txt в Google Webmaster Tools

Позволит выявлять ошибки, из-за которых Google не индексирует страницы сайта, редактировать файлы, проверять блокировку URL и просматривать старые версии файла

Дарья Калинская
17 Июля 2014

0 7230