сервис аналитики звонков и оптимизации
бизнес-процессов
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
А Б В Г Д Е Ё Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ы Ь Э Ю Я
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 0-9
R

Robots.txt

— текстовый файл, записывающий специальные инструкции для поискового робота, ограничивающие доступ к содержимому на http сервере, находящийся в корневой директории веб-сайта и имеющий путь относительно имени самого сайта (/robots.txt ).

В 1994 году консенсусом был принят стандарт, позволяющий использовать данный файл добровольно.

Файл robots.txt, как правило, используется для частичного управления индексацией сайта поисковыми роботами. Этот файл включает в себя набор инструкций для поисковых машин, при помощи которых можно задать области сайта, которые не должны индексироваться.

Основными состовляющими файла robots.txt являются:

- директива User-agent (указываются поисковые системы, для которых сайт открыт для индексации, либо ставится символ "*", то есть регистр не имеет значения);

- директива Disallow (запрет доступа робота к некоторым частям сайта или сайту целиком);

- директива Host (определяет главное зеркало сайта).

Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса, так как сейчас Яндекс является наиболее популярной поисковой системой. В Яндексе описаны основные правила заполнения файла robots.txt.

Синонимы: нет
Все термины на букву «R»
Все термины в глоссарии

Ссылки по теме

... дизайна Внимание: эта статья не представляет собой чек-лист перед запуском сайта (тут не будет таких очевидных вещей, как создание файла robots.txt, использование систем аналитики, соцсигналы, метатеги и т.д.), но включает список задач, которые влияют на SEO и их трудно решить после разработки ...

Мария Романова
27.02.17 в 10:00
2 1353

... корректной контактной информацией (но у них несколько сайтов указано с похожим ассортиментом) Яндекс.Каталог ОК Присвоен корректный регион Robots.txt + sitemap.xml Указание директивы Host не ОК Директива указана некорректно (указана не для бота яндекса) Запрет индексации технических страниц ...

Арсений Староверов
21.02.17 в 11:35
2 3238

... закрывая и переписывая материалы. В данном случае ТОП возможен только при правильном распределении ключевых фраз. Не перемудрите. 6. Настройка robots.txt Отнесу это к теме статьи, хотя скорее тут просто знания. Стремясь оптимизировать вашу выдачу, запрещая к индексации лишние, мусорные и ...

Александр Рунов
13.02.17 в 11:14
1 2977

... максимально короткого пути для достижения цели. Технические доработки сайта. Удаление дублей страниц, составление или корректировка файла robots.txt и .htaccess, создание карты сайта, улучшение посещаемости сайта роботами поисковой системы и др. Распределение семантического ядра по страницам ...

Иван Севостьянов
06.02.17 в 18:02
4 2939

... ранжирование, требуется выполнить приведенные далее рекомендации по нейтрализации угрозы дублей и некачественных страниц. Оптимизация файла robots.txt Данный файл позволяет определить для поисковых систем основной адрес сайта, а также обеспечивает корректную индексацию важных страниц ...

Екатерина Семибратова
31.01.17 в 15:39
6 3852
Отправьте отзыв!