×
Россия +7 (495) 139-20-33

Google: как заблокировать индексацию файлов Robots.txt и Sitemap

Россия +7 (495) 139-20-33
Шрифт:
0 5051

Сотрудник Google Джон Мюллер дал совет, как заблокировать файлы robots.txt и sitemap, чтобы не допустить их индексации.

Совет Мюллера был вызван твитом другого специалиста из Google Гэри Илша, который заметил, что файл robots.txt может быть проиндексирован поисковиком, как и любой другой URL. Хотя в robots.txt содержатся специальные указания для сканирования, нет ничего, что могло бы помешать Google его проиндексировать.

...robots.txt с точки зрения индексации — это просто URL, содержание которого может быть проиндексировано. Он может быть канонический или дедуплицированный, как и любой другой URL. Он имеет особое значение для сканирования, но его индексный статус вообще не важен.

В ответ своему коллеге Джон Мюллер написал, что HTTP-заголовок X-Robots-Tag может использоваться для того, чтобы заблокировать индексацию файлов robots.txt и sitemap. Также он заметил:

«Если ваши файлы robots.txt или sitemap ранжируются по обычным запросам (не сайт), это является, как правило, признаком того, что у вас действительно очень плохой сайт и его нужно срочно улучшить».

Так что если специалисты столкнулись с проблемой, когда их файл robots.txt ранжируется в результатах поиска, блокировка с помощью HTTP-заголовка X-Robots-Tag может стать хорошим краткосрочным решением. При этом следует сразу же начать решать более серьезные проблемы с сайтом, которые могут негативно сказаться в долгосрочной перспективе, рекомендует Мюллер.

Напомним, ранее сотрудник Google Мартин Сплитт сообщил, что поисковик не использует поведенческие метрики для ранжирования, в частности, dwelling time и время пребывания на странице.

Источник: Search Engine Journal

(Голосов: 6, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
«Юзабилити-лаборатория»: оставляйте заявку на участие!
Анна Макарова
381
комментарий
0
читателей
Полный профиль
Анна Макарова - Антон, добрый день! Ваш сайт не попал в основную выборку для юзабилити-анализа, но эксперты постараются сделать по вашему сайту видеоразбор (ю-ревью). Будем держать вас в курсе )
Тест по SEO – проверь свой уровень знаний
Артем Дорофеев
8
комментариев
0
читателей
Полный профиль
Артем Дорофеев - Полный текст вопроса со скриншотом панели прикладываю. Итого, что имеем: - на скриншоте отмечено, что это фильтр МПК - сайт коммерческий - рекламы на сайте нет С вероятностью 95% это ошибка (которая уже дважды случалась в Яндексе), когда они случайно "закосили" неповинные сайты. Тогда по запросу Платону фильтр быстренько снимали. Но вопрос даже не на знание этого нюанса. В любой непонятной ситуации, прежде чем что-либо предпринимать (особенно переписывать весь контент на сайте или менять дизайн, как указано в других вариантах) - фильтр следует подтвердить. Правильный ответ: "Написать письмо в техподдержку Яндекса".
Кейс: как за 30 дней вывести новый сайт в ТОП выдачи Google
Сергей
2
комментария
0
читателей
Полный профиль
Сергей - Прошёл у Паши курс год назад, пытался продвигать свой сайт portativ.org.ua, но особых продвижений нет. Наверное сео уже умерло??
Выбираем CMS для сайта с точки зрения SEO: базовые требования
SEO.RU
6
комментариев
0
читателей
Полный профиль
SEO.RU - Спасибо за замечание, действительно была допущена неточность - возможно информация была не так давно обновилась. Данные в статье поправим на актуальные.
Digital-marketing: как выжить в кризис. Опыт реальной компании
Maks
1
комментарий
0
читателей
Полный профиль
Maks - Спасибо за опыт Вашей компании, Иван Папусь. Интересно получилось! Желаю Вашему бизнесу стабильности и успешно пережить все кризисы))
100+ ресурсов по SEO для изучения поисковой оптимизации с нуля
Марина Ибушева
0
комментариев
0
читателей
Полный профиль
Марина Ибушева - Спасибо за добавление. Мы уже работаем над отдельным материалом про курсы, потому что одной статьи мало, чтобы охватить все крутое по обучению)
SEO must go on! Почему в кризис нельзя останавливать продвижение сайта
everystraus
43
комментария
0
читателей
Полный профиль
everystraus - Мы даже варианты не рассматривали. Если проект неустойчив, сразу предлагали сбавить обороты до минимума, но и так, чтоб не свалиться в штопор. Именно по СЕО чаще всего.
Как стандартизировать данные семантики с помощью логарифмов
Юлий
1
комментарий
0
читателей
Полный профиль
Юлий - Чем снималась коммерцелизация?
Вебмастера жалуются на массовое выпадение страниц из индекса Яндекса
Дмитрий Севальнев
113
комментария
0
читателей
Полный профиль
Дмитрий Севальнев - Яна, да, в таком случае события могут быть более чем связаны! Мы в проектах отслеживаем суммы частот по всему ядру. Где-то просадки и правда есть 50%.
Гайд по работе с освобождающимися доменами: перехват, восстановление, создание сетки и заработок
Daniel Dan
1
комментарий
0
читателей
Полный профиль
Daniel Dan - Интересно и полезно читать, Спасибо!
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
381
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
113
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
89
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
60
Комментариев
59
Комментариев
57

Отправьте отзыв!
Отправьте отзыв!