Хочешь повысить отдачу от Директа?
Включи «Автопилот»
R

Robots.txt

— текстовый файл, записывающий специальные инструкции для поискового робота, ограничивающие доступ к содержимому на http сервере, находящийся в корневой директории веб-сайта и имеющий путь относительно имени самого сайта (/robots.txt ).

В 1994 году консенсусом был принят стандарт, позволяющий использовать данный файл добровольно.

Файл robots.txt, как правило, используется для частичного управления индексацией сайта поисковыми роботами. Этот файл включает в себя набор инструкций для поисковых машин, при помощи которых можно задать области сайта, которые не должны индексироваться.

Основными состовляющими файла robots.txt являются:

- директива User-agent (указываются поисковые системы, для которых сайт открыт для индексации, либо ставится символ "*", то есть регистр не имеет значения);

- директива Disallow (запрет доступа робота к некоторым частям сайта или сайту целиком);

- директива Host (определяет главное зеркало сайта).

Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса, так как сейчас Яндекс является наиболее популярной поисковой системой. В Яндексе описаны основные правила заполнения файла robots.txt.

Синонимы: нет
Все термины на букву «R»
Все термины в глоссарии

Ссылки по теме

... четырех направлениях: Техническая часть: Улучшить скорость загрузки на мобильных. Поправить страницу 404 ошибки. Создать Sitemap. Настроить robots.txt под Яндекс и Google. Удалить битые ссылки и дубли страниц. Настроить перелинковку (добавить хлебные крошки). Перевести сайт на https (чтобы не ...

Ирина Ирина Шамина
11 Сентября
7 5399

... халяву. Типичная ситуация: вам присылают бесплатный аудит, в котором в пух и прах разбивают текущего подрядчика. Мол, зеркала не склеены, robots.txt неправильно оформлен, чем они у вас вообще занимаются? «Дурят вас, дурят! Идите к нам, мы все как надо сделаем!» Когда получаете подобные ...

Павел Павел Пономарев
29 Августа
12 10889

... индексирования при помощи атрибута noindex означает, что страницы должны быть доступны (открыты для конкурентов, скраперов и т.д.). Использование robots.txt означает, что вам нужно помнить об изменении файла robots.txt при переходе с этапа тестирования на публичную версию и может привести к индексированию ...

Алина Алина Назарова
16 Августа
0 1767

... работать с инструментом «Статистика обхода» и архивами загруженных страниц, которые помогают находить дубли и служебные страницы, и составить robots.txt для документов такого типа. Следующий вебинар начнет в 12:00 27 июля. Если хотите узнать, как правильно переехать на HTTPS, присоединяйтесь . 

Дарья Дарья Калинская
26 Июля
0 4525

... оптимизации страницы, размер и время загрузки страницы. 10. Техническая оптимизация и юзабилити: фавикон, фреймы, Flash, зеркало, наличие файла robots.txt и sitemap.xml. Подведем итоги по лидогенератору. Плюсы Сбор контактов потенциальных клиентов. Экономия времени для SEO-компаний и агентств. Не ...

Дарья Дарья Калинская
17 Июля
0 6540
Отправьте отзыв!