Рекламные кампании для вашего бизнеса
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
А Б В Г Д Е Ё Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ы Ь Э Ю Я
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 0-9
R

Robots.txt

— текстовый файл, записывающий специальные инструкции для поискового робота, ограничивающие доступ к содержимому на http сервере, находящийся в корневой директории веб-сайта и имеющий путь относительно имени самого сайта (/robots.txt ).

В 1994 году консенсусом был принят стандарт, позволяющий использовать данный файл добровольно.

Файл robots.txt, как правило, используется для частичного управления индексацией сайта поисковыми роботами. Этот файл включает в себя набор инструкций для поисковых машин, при помощи которых можно задать области сайта, которые не должны индексироваться.

Основными состовляющими файла robots.txt являются:

- директива User-agent (указываются поисковые системы, для которых сайт открыт для индексации, либо ставится символ "*", то есть регистр не имеет значения);

- директива Disallow (запрет доступа робота к некоторым частям сайта или сайту целиком);

- директива Host (определяет главное зеркало сайта).

Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса, так как сейчас Яндекс является наиболее популярной поисковой системой. В Яндексе описаны основные правила заполнения файла robots.txt.

Синонимы: нет
Все термины на букву «R»
Все термины в глоссарии

Ссылки по теме

... Мы проанализировали техническое состояние сайта на работоспособность, на скорость загрузки страниц, на наличие корректно составленного robots.txt и sitemap.xml и прочее. Так как материал получился весьма объемным, мы вынесли главные моменты в таблицу. Региональность Яндекс.Справочник ОК ...

Станислав Поломарь
10.11.16 в 13:55
14 5769

... для ускорения переобхода страниц сайта. Если открытие для индексации осуществлялось через админку сайта, проверьте дополнительно site.ru/robots.txt на предмет отсутствия строчки «Disallow: /». Также отправьте карту сайта sitemap.xml (если они имеется) в панели Вебмастера Яндекса и Google, что поможет ...

4 2470

... индексации множественные модификации товара с помощью метатега <metaname="robots" content="none"/>. Недостаток такой реализации в том, что пользователь,... ... удаление битых ссылок на страницах сайта; настройка служебных файлов robots.txt, sitemap.xml и .htaccess. Шаблонная оптимизация тегов title и description, а также текстов ...

Денис Осадчий
21.10.16 в 11:47
5 2544

... кражи и ускорения индексации новых постов. Важным пунктом при поисковом продвижении интернет-магазина на WordPress является создание файла robots.txt, с помощью которого можно добавить ограничения на индексацию дублей, административной панели сайта, «мусорных» страниц и пользовательских ...

Тарас Антюхов
20.09.16 в 12:00
2 4911

... не заметных внешне, но влияющих на отношение к ресурсу поисковых систем (например, наличие дублей, битые ссылки, некорректная настройка robots.txt и обработка 404 ошибки). 3. Составление списка ограничений сайта и действий по их устранению. Каждое ограничение, влияющее на результат, должно ...

Станислав Биров
22.08.16 в 13:11
1 7066
Отправьте отзыв!