Яндекс напомнил о важности robots.txt

«Предохраняйтесь!» - призывает общественность Яндекс. Но как ни удивительно речь идет всего лишь о сайтах и информации, которую вебмастера не хотели бы увидеть в выдаче поисковика. В свете последних событий, связанных с утечкой приватной информации, Яндекс решил напомнить вебмастерам еще раз, как же обезопасить себя и сайт от подобных ситуаций в будущем. Все просто – необходимо создать файл robots.txt, и прописать в нем, какие разделы сайта следует скрыть от индексации. Как создать такой файл, Яндекс подробно и доступно рассказывает в следующем ролике:


Однако немного смущает излишняя примитивность ролика. Большинство вебмастеров неплохо знакомы с robots.txt, и создаваемые ими файлы отличаются значительной сложностью по сравнению с приведенным примером. Впрочем, начинающие программисты-любители обязательно узнают из ролика много нового.

Предполагается, что вебмастер следит за всеми данными, размещенными на своем сайте – например, за тем, чтобы приватные данные были защищены паролем, или за тем, чтобы туда не попадала внутренняя информация о компании. Вся информация, которая размещена в интернете и никак не защищена, может попасть в поисковые системы. Для того чтобы ограничить доступ к информации для поисковых систем, достаточно задать правила доступа в файле robots.txt протоколом REP.

Однако практика показала, что, несмотря на простоту способов защиты приватной информации, и то, что правила взаимодействия сайтов с поисковыми системами созданы еще в 1994 году, многие вебмастера совершают ошибки. Например, полагаясь на сложность адреса той или иной страницы, никак не защищают информацию на ней. В результате эта информация оказывается открытой и находится в различных поисковых системах, в том числе и в Яндексе.

После известных событий в июле, когда стало очевидно, что не все вебмастера знают об информационной безопасности сайтов и тех данных, которые им доверяют пользователи, мы решили сделать своего рода иллюстрированный хелп. Хотелось рассказать в простой форме о простом инструменте – файле robots.txt, в котором вебмастера прописывают параметры индексирования своего сайта", - прокомментировал запуск ролика Очир Манджиков, пресс-секретарь Яндекса.