Не знаете, как составить файл robots.txt?

Google Webmaster Central анонсировал новый инструментRobots.txt Generator. Это своего рода переводчик на язык robots.txt, который поможет тем, у кого создание данного файла вызывает трудности. Теперь чтобы запретить или разрешить индексацию элементов сайта, их нужно просто указать в Robots.txt Generator. При желании можно прописать определенные условия для файлов robots.txt тех или иных страниц/разделов сайта.

Написанный файл можно проверить с помощью специального анализатора robots.txt analysis tool. После этого нужно сохранить созданный файл в корневом каталоге сайта. Robots.txt Generator создает файлы, которые будут понятны Google-боту и большинству других крупных роботы. Но есть вероятность, что некоторые роботы не поймут всех функций robots.txt, которые использует генератор.

Следует помнить, что встречаются и недобросовестные роботы, которые игнорируют содержание файла robots.txt и сканируют все закрытые от индексации элементы сайта. В этом случае контент сайта нужно защитить паролем и не полагаясь на robots.txt.

Отметим, многие вебмастера отмечают полезность сервиса Google Webmaster Central. Здесь можно посмотреть, по каким запросам находят сайт, на каких он позициях в выдаче и по каких запросам больше всего переходят на сайт. «"Популярные поисковые запросы" и "Популярные запросы с кликами" в статистике отличаются (+ можно уточнять по типу поиска, региону и дате) и эти отличия наводят на интересные мысли - попробуйте сами и вам понравится», - говорит известный блогер Дмитрий Голополосов (aka Dimok).