Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
А Б В Г Д Е Ё Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ы Ь Э Ю Я
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 0-9
R

Robots.txt

— текстовый файл, записывающий специальные инструкции для поискового робота, ограничивающие доступ к содержимому на http сервере, находящийся в корневой директории веб-сайта и имеющий путь относительно имени самого сайта (/robots.txt ).

В 1994 году консенсусом был принят стандарт, позволяющий использовать данный файл добровольно.

Файл robots.txt, как правило, используется для частичного управления индексацией сайта поисковыми роботами. Этот файл включает в себя набор инструкций для поисковых машин, при помощи которых можно задать области сайта, которые не должны индексироваться.

Основными состовляющими файла robots.txt являются:

- директива User-agent (указываются поисковые системы, для которых сайт открыт для индексации, либо ставится символ "*", то есть регистр не имеет значения);

- директива Disallow (запрет доступа робота к некоторым частям сайта или сайту целиком);

- директива Host (определяет главное зеркало сайта).

Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса, так как сейчас Яндекс является наиболее популярной поисковой системой. В Яндексе описаны основные правила заполнения файла robots.txt.

Синонимы: нет
Все термины на букву «R»
Все термины в глоссарии

Ссылки по теме

... Доступность для индексации поисковыми системами. Отсутствие запретов индексации (в том числе проверка корректности и полноты служебных файлов robots.txt, sitemap.xml). Частая ошибка – наличие метатега Robots со значением noindex, что закрывает от индексации содержимое страниц. Также необходимо закрыть ...

0 5706

... download трафик продвигается тематическими ссылками. В общем, за исполнение – твердая пятерка) Итого: 1) Google удивил. То ли забыл закрыть все это в robots.txt, то ли забыл, как со спамом бороться. Прозевать дорвеи у себя на домене – это ПЯТЬ))) 2) Данная схема пока что абсолютно рабочая, достаточно ...

Станислав Ставский
12.05.17 в 11:58
5 6033

... переведен поддомен Уфа. Все страницы версий с HTTP были сразу переклеены 301-м редиректом с новыми на HTTPS, были проведены настройки в вебмастерах, в robots.txt была изменена директивы Host и sitemap. Этап 1: Переиндексация На полную переиндексацию ушло примерно около 1,5–2 недели. Довольно быстрая ...

Андрей Макеев
26.04.17 в 13:17
17 4123

... проблемы. Примеры аномальных и подозрительных страниц и способ их устранить: Страницы Решение Страницы с параметрами Закрыть параметры в robots.txt; Найти причину появления подобных страниц, устранить ее; Настроить 301 редирект с таких страниц на правильные; Настроить 404 код ответа для ...

Руслан Фатхутдинов
06.04.17 в 14:21
5 8399

... поиске будет изменён в течение нескольких недель. Если после выполнения переезда в Яндекс.Вебмастере для сайта с HTTP висит предупреждение, что robots.txt недоступен, необходимо либо снять редирект только с файла robots.txt, либо игнорировать данное сообщение. На обход главного зеркала с HTTPS это ...

Валерия Полякова
20.03.17 в 18:53
9 6980
Отправьте отзыв!