Google перестанет поддерживать noindex в robots.txt 1 сентября 2019 года

1 сентября 2019 года Google упразднит элементы кода, используемые в robots.txt, но не соответствующие правилам. В список попадают директивы noindex, nofollow и crawl-delay – вебмастерам, которые прописывали их в robots.txt, придется воспользоваться альтернативными вариантами.

В качестве альтернативы noindex Google, например, предлагает использовать:

• метатег noindex – самый эффективный способ на взгляд Google,
• коды ответа HTTP 404 и 410,
• защита паролем,
• disallow в robots.txt,
• инструмент для удаления URL в Search Console.

Подробнее о том, как удалять контент из индекса Google и почему robots.txt не подходит для этих целей, можно узнать из Справки Google.

Специалист по качеству поиска Google Джон Мюллер сказал (с присущим ему юмором), что перед упразднением Google, возможно, разошлет письма тем вебмастерам, которые до сих пор используют директивы в robots.txt.

That sounds like a good idea. Are you reading our email?
/turns around slowly to scan the room

— John (@JohnMu) 2 июля 2019 г.

Звучит неплохо. Вы читаете наши письма?
/медленно поворачивается, сканируя комнату

Эти меры будут приняты в рамках инициативы по превращению Robots Exclusion Protocol (REP) в официальный стандарт. В Google утверждают, что использование noindex в robots.txt не задокументировано и иногда этот способ приводит к возникновению ошибок и неверному отображению сайта в поисковой системе.

Ранее представитель Google Джон Мюллер уже говорил о желании компании полностью отказаться от поддержки noindex в robots.txt.

Источник: Блог Google