R

Robots.txt

— текстовый файл, записывающий специальные инструкции для поискового робота, ограничивающие доступ к содержимому на http сервере, находящийся в корневой директории веб-сайта и имеющий путь относительно имени самого сайта (/robots.txt ).

В 1994 году консенсусом был принят стандарт, позволяющий использовать данный файл добровольно.

Файл robots.txt, как правило, используется для частичного управления индексацией сайта поисковыми роботами. Этот файл включает в себя набор инструкций для поисковых машин, при помощи которых можно задать области сайта, которые не должны индексироваться.

Основными состовляющими файла robots.txt являются:

- директива User-agent (указываются поисковые системы, для которых сайт открыт для индексации, либо ставится символ "*", то есть регистр не имеет значения);

- директива Disallow (запрет доступа робота к некоторым частям сайта или сайту целиком);

- директива Host (определяет главное зеркало сайта).

Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса, так как сейчас Яндекс является наиболее популярной поисковой системой. В Яндексе описаны основные правила заполнения файла robots.txt.

Синонимы: нет
Все термины на букву «R»
Все термины в глоссарии

Ссылки по теме

... оптимизации страницы, размер и время загрузки страницы. 10. Техническая оптимизация и юзабилити: фавикон, фреймы, Flash, зеркало, наличие файла robots.txt и sitemap.xml. Подведем итоги по лидогенератору. Плюсы Сбор контактов потенциальных клиентов. Экономия времени для SEO-компаний и агентств. Не ...

0 2099

... (наличие атрибутов alt и title); оптимизация текстов (релевантность, объем), также в сравнении с топовыми конкурентами; уникальность текстов; файлы robots.txt и sitemap; исполняемые скрипты; наличие вирусов; запрет к индексации в meta.robots; возраст сайта (дата первой индексации) и возраст домена (дата ...

Евгений Костин
04.07.17 в 15:54
2 2384

... исключение и прописать путь через HTTP. 4. Новые URL-ы страниц в sitemap.xml Сгенерировать новый файл sitemap.xml с URL-ами по протоколу HTTPS. 5. Изменения в robots.txt В файле для поисковых роботов прописать хост и путь к файлу sitemap.xml через защищенный протокол. Пример: Host: https://mysite.com ………. Sitemap: https://mysite....

Ольга Даньковская
25.06.17 в 11:26
2 2916

... Доступность для индексации поисковыми системами. Отсутствие запретов индексации (в том числе проверка корректности и полноты служебных файлов robots.txt, sitemap.xml). Частая ошибка – наличие метатега Robots со значением noindex, что закрывает от индексации содержимое страниц. Также необходимо закрыть ...

1 9248

... download трафик продвигается тематическими ссылками. В общем, за исполнение – твердая пятерка) Итого: 1) Google удивил. То ли забыл закрыть все это в robots.txt, то ли забыл, как со спамом бороться. Прозевать дорвеи у себя на домене – это ПЯТЬ))) 2) Данная схема пока что абсолютно рабочая, достаточно ...

Станислав Ставский
12.05.17 в 11:58
5 7585
Отправьте отзыв!