Яндекс напомнил о важности robots.txt

Предполагается, что вебмастер следит за всеми данными, размещенными на своем сайте – например, за тем, чтобы приватные данные были защищены паролем, или за тем, чтобы туда не попадала внутренняя информация о компании. Вся информация, которая размещена в интернете и никак не защищена, может попасть в поисковые системы. Для того чтобы ограничить доступ к информации для поисковых систем, достаточно задать правила доступа в файле robots.txt протоколом REP.

Однако практика показала, что, несмотря на простоту способов защиты приватной информации, и то, что правила взаимодействия сайтов с поисковыми системами созданы еще в 1994 году, многие вебмастера совершают ошибки. Например, полагаясь на сложность адреса той или иной страницы, никак не защищают информацию на ней. В результате эта информация оказывается открытой и находится в различных поисковых системах, в том числе и в Яндексе.

После известных событий в июле, когда стало очевидно, что не все вебмастера знают об информационной безопасности сайтов и тех данных, которые им доверяют пользователи, мы решили сделать своего рода иллюстрированный хелп. Хотелось рассказать в простой форме о простом инструменте – файле robots.txt, в котором вебмастера прописывают параметры индексирования своего сайта", - прокомментировал запуск ролика Очир Манджиков, пресс-секретарь Яндекса.