Многофункциональная SEO-платформа
для профессионалов
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
А Б В Г Д Е Ё Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ы Ь Э Ю Я
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 0-9
R

Robots.txt

— текстовый файл, записывающий специальные инструкции для поискового робота, ограничивающие доступ к содержимому на http сервере, находящийся в корневой директории веб-сайта и имеющий путь относительно имени самого сайта (/robots.txt ).

В 1994 году консенсусом был принят стандарт, позволяющий использовать данный файл добровольно.

Файл robots.txt, как правило, используется для частичного управления индексацией сайта поисковыми роботами. Этот файл включает в себя набор инструкций для поисковых машин, при помощи которых можно задать области сайта, которые не должны индексироваться.

Основными состовляющими файла robots.txt являются:

- директива User-agent (указываются поисковые системы, для которых сайт открыт для индексации, либо ставится символ "*", то есть регистр не имеет значения);

- директива Disallow (запрет доступа робота к некоторым частям сайта или сайту целиком);

- директива Host (определяет главное зеркало сайта).

Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса, так как сейчас Яндекс является наиболее популярной поисковой системой. В Яндексе описаны основные правила заполнения файла robots.txt.

Синонимы: нет
Все термины на букву «R»
Все термины в глоссарии

Ссылки по теме

... : Настройка редиректов Размещение метатегов Корректировка Title Создание и размещение заголовков (H1-H6) Создание или корректировка файлов robots.txt и sitemap.xml Внутренняя перелинковка Оптимизация изображений Работа с внешними факторами Must-have 2017: Поведенческие факторы ранжирования Коммерческие ...

Мария Романова
13.12.16 в 16:23
11 2595

... Мы проанализировали техническое состояние сайта на работоспособность, на скорость загрузки страниц, на наличие корректно составленного robots.txt и sitemap.xml и прочее. Так как материал получился весьма объемным, мы вынесли главные моменты в таблицу. Региональность Яндекс.Справочник ОК ...

Станислав Поломарь
10.11.16 в 13:55
14 6867

... для ускорения переобхода страниц сайта. Если открытие для индексации осуществлялось через админку сайта, проверьте дополнительно site.ru/robots.txt на предмет отсутствия строчки «Disallow: /». Также отправьте карту сайта sitemap.xml (если они имеется) в панели Вебмастера Яндекса и Google, что поможет ...

4 2616

... индексации множественные модификации товара с помощью метатега <metaname="robots" content="none"/>. Недостаток такой реализации в том, что пользователь,... ... удаление битых ссылок на страницах сайта; настройка служебных файлов robots.txt, sitemap.xml и .htaccess. Шаблонная оптимизация тегов title и description, а также текстов ...

Денис Осадчий
21.10.16 в 11:47
5 2732

... кражи и ускорения индексации новых постов. Важным пунктом при поисковом продвижении интернет-магазина на WordPress является создание файла robots.txt, с помощью которого можно добавить ограничения на индексацию дублей, административной панели сайта, «мусорных» страниц и пользовательских ...

Тарас Антюхов
20.09.16 в 12:00
2 5247
Отправьте отзыв!