Google игнорирует robots.txt?

Россия+7 (495) 960-65-87
Шрифт:
0 3818

лого GoogleЗападные вебмастера не раз отмечали, что боты Google игнорируют инструкции, прописанные в файле robots.txt. Почему страницы, закрытые от индексации, появляются в выдаче Google? Ответить на данный вопрос решил сам Мэтт Каттс (Matt Cutts), руководитель группы Google Webspam, хорошо знакомый с данной ситуацией.

По его словам, большинство обращений вебмастеров одного содержания, а именно: после того как страница example.com/go была закрыта от индексации в robots.txt, в результатах поиска Google может появиться URL данной страницы, но без сниппета. На последнем Каттс особо акцентирует внимание вебмастеров и отмечает: «Так происходит именно потому, что Google не обходит закрытую страницу».

Зачастую информация о таких закрытых страницах присутствует в каталогах или на других ресурсах, именно они становятся источниками данных для Google. Т.е. если страница закрыта от индексации, Google не будет ее индексировать. Ссылка на нее берется из Сети, однако сама страница не обходится поисковым роботом.

«Подобные страницы не ищутся по точному вхождению текста, по title, в кэше пусто. Однако такое положение дел мешает тем, что любая служебная страница, скажем site.com/admin/password, может быть найдена таким образом», - комментирует ситуацию Роман Вилявин, заместитель директора по продвижению в западном сегменте, компания Promodo.

Для того чтобы служебные и другие страницы не появлялись в SERP, Мэтт Каттс советует использовать мета-тэг "noindex", либо инструмент URL removal tool в том случае, если она уже там.

Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
    ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
    Кейс: как продвинуть сайт производителя мебели на заказ в Москве
    Art Moderator
    2
    комментария
    0
    читателей
    Полный профиль
    Art Moderator -
    Рейтинг «Известность бренда SEO-компаний 2017»: народное голосование
    Гость
    1
    комментарий
    0
    читателей
    Полный профиль
    Гость - 1) Ingate 2) Ашманов 3) Кокос 4) Russian Promo 5) Netpeak
    32 инструмента в помощь SEO-специалисту
    Chaser
    1
    комментарий
    0
    читателей
    Полный профиль
    Chaser - Рекомендую бесплатную альтернативу Frog и Netpeak - SiteAnalyzer ( site-analyzer.ru/ ) Странно что не включили в обзор
    Второе дыхание ссылочного продвижения
    Rookee.ru
    24
    комментария
    0
    читателей
    Полный профиль
    Rookee.ru - Еще лучше, когда продвижение осуществляется комплексно :)
    Исследование: влияние smart-ссылок на продвижение по СЧ-запросам
    Анатолий Шевчик
    1
    комментарий
    0
    читателей
    Полный профиль
    Анатолий Шевчик - +1097988
    Контекст под SEO. Как поисковая реклама помогает позициям в органической выдаче
    Сергей Дембицкий «Sima-Land.ru»
    22
    комментария
    0
    читателей
    Полный профиль
    Сергей Дембицкий «Sima-Land.ru» - Боже мой, неужели SEO-маги вернулись??? Открыть в роботс utm-метки для индексации и наплодить дублей...что? А расчеты в конце статьи про бюджет на SEO и контекст...откуда эти пропорции? Как по мне, SEO-магия вне Хогвартс. Спасибо, развеселили!
    Все, что нужно SEO-специалисту. Обзор инструментов
    Администратор Сайта
    1
    комментарий
    1
    читатель
    Полный профиль
    Администратор Сайта - Шаришь в seo! Сервис реально хороший
    Какая боль: ТОП 10 типичных ошибок в SEO
    Alex Fri
    1
    комментарий
    0
    читателей
    Полный профиль
    Alex Fri - Отличная статья, прикольные гифки - вносят разнообразие и прекрасно визуализируют контент))
    4 способа быстро собрать теги для сайта
    Рустем Низамутинов
    5
    комментариев
    0
    читателей
    Полный профиль
    Рустем Низамутинов - Расписал и закинул в Google Docs, а то здесь в комментариях ссылки на активны. docs.google.com/document/d/1r0TZLNrQyYLdIzDQsD5YKlMG41HUGQgEep3bxE_ij-M/edit?usp=sharing
    Яндекс: как мы модерируем объявления
    Гость
    5
    комментариев
    0
    читателей
    Полный профиль
    Гость - Это ж Яндекс, чего вы ожидали-то? Коммерческая структура с раздутым штатом, задачей которой является заработать больше денег. Любыми методами. Задача всех пользователей посадить на Директ, даже если придется разрушить суть рунета, реализуется по полной программе. Все возражающие караются и выпиливаются. И каждый из сотрудников делает все возможное и невозможное, чтобы реализовать любую дурацкую идею - за это еще и премию выхватить можно. Даже если потом придется выполнять "откат", премиальные уже заплачены. Так было с одним из фильтров Яндекса, так было с купленным им сайтом Кинопоиска, который из русскоязычной энциклопедии кино был превращен за безумные деньги в банальный платный онлайн-кинотеатр.
    ТОП КОММЕНТАТОРОВ
    Комментариев
    910
    Комментариев
    834
    Комментариев
    554
    Комментариев
    540
    Комментариев
    483
    Комментариев
    373
    Комментариев
    322
    Комментариев
    262
    Комментариев
    234
    Комментариев
    171
    Комментариев
    156
    Комментариев
    137
    Комментариев
    121
    Комментариев
    97
    Комментариев
    97
    Комментариев
    95
    Комментариев
    86
    Комментариев
    80
    Комментариев
    67
    Комментариев
    60
    Комментариев
    59
    Комментариев
    57
    Комментариев
    55
    Комментариев
    54
    Комментариев
    53

    Отправьте отзыв!
    Отправьте отзыв!