Издание о поисковом маркетинге
и заработке в Интернете
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:

Что такое robots.txt? Зачем и как его использовать. Как разрешить к индексации весь сайт, а запретить к индексации только одну страницу в robots.txt?

Россия +7 (495) 960-65-87
Шрифт:
2 31665

1. Введение
2. Понятие файла robots.txt и требования, предъявляемые к нему
3. Содержимое файла robots.txt
4. Примеры файлов robots.txt
5. Ошибки, связанные с файлом robots.txt
6. Заключение

1. Введение

Технические аспекты созданного сайта играют не менее важную роль для продвижения сайта в поисковых системах, чем его наполнение. Одним из наиболее важных технических аспектов является индексирование сайта, т. е. определение областей сайта (файлов и директорий), которые могут или не могут быть проиндексированы роботами поисковых систем. Для этих целей используется robots.txt – это специальный файл, который содержит команды для роботов поисковиков. Правильный файл robots.txt для Яндекса и Google поможет избежать многих неприятных последствий, связанных с индексацией сайта.

2. Понятие файла robots.txt и требования, предъявляемые к нему

Файл /robots.txt предназначен для указания всем поисковым роботам (spiders) индексировать информационные сервера так, как определено в этом файле, т.е. только те директории и файлы сервера, которые не описаны в /robots.txt. Этот файл должен содержать 0 или более записей, которые связаны с тем или иным роботом (что определяется значением поля agent_id) и указывают для каждого робота или для всех сразу, что именно им не надо индексировать.

Синтаксис файла позволяет задавать запретные области индексирования, как для всех, так и для определенных, роботов.

К файлу robots.txt предъявляются специальные требования, не выполнение которых может привести к неправильному считыванию роботом поисковой системы или вообще к недееспособности данного файла.

Основные требования:

  • все буквы в названии файла должны быть прописными, т. е. должны иметь нижний регистр:
  • robots.txt – правильно,
  • Robots.txt или ROBOTS.TXT – неправильно;
  • файл robots.txt должен создаваться в текстовом формате Unix. При копировании данного файла на сайт ftp-клиент должен быть настроен на текстовый режим обмена файлами;
  • файл robots.txt должен быть размещен в корневом каталоге сайта.

3. Содержимое файла robots.txt

Файл robots.txt включает в себя две записи: «User-agent» и «Disallow». Названия данных записей не чувствительны к регистру букв.

Некоторые поисковые системы поддерживают еще и дополнительные записи. Так, например, поисковая система «Yandex» использует запись «Host» для определения основного зеркала сайта (основное зеркало сайта – это сайт, находящийся в индексе поисковых систем).

Каждая запись имеет свое предназначение и может встречаться несколько раз, в зависимости от количества закрываемых от индексации страниц или (и) директорий и количества роботов, к которым Вы обращаетесь.

Предполагается следующий формат строк файла robots.txt:

имя_записи[необязательные

пробелы]:[необязательные

пробелы]значение[необязательные пробелы]

Чтобы файл robots.txt считался верным, необходимо, чтобы, как минимум, одна директива «Disallow» присутствовала после каждой записи «User-agent».

Полностью пустой файл robots.txt эквивалентен его отсутствию, что предполагает разрешение на индексирование всего сайта.

Запись «User-agent»

Запись «User-agent» должна содержать название поискового робота. В данной записи можно указать каждому конкретному роботу, какие страницы сайта индексировать, а какие нет.

Пример записи «User-agent», где обращение происходит ко всем поисковым системам без исключений и используется символ «*»:

User-agent: *

Пример записи «User-agent», где обращение происходит только к роботу поисковой системы Rambler:

User-agent: StackRambler

Робот каждой поисковой системы имеет свое название. Существует два основных способа узнать его (название):

на сайтах многих поисковых систем присутствует специализированный§ раздел «помощь веб-мастеру», в котором часто указывается название поискового робота;

при просмотре логов веб-сервера, а именно при просмотре обращений к§ файлу robots.txt, можно увидеть множество имен, в которых присутствуют названия поисковых систем или их часть. Поэтому Вам остается лишь выбрать нужное имя и вписать его в файл robots.txt.

Запись «Disallow»

Запись «Disallow» должна содержать предписания, которые указывают поисковому роботу из записи «User-agent», какие файлы или (и) каталоги индексировать запрещено.

Рассмотрим различные примеры записи «Disallow».

Пример записи в robots.txt (разрешить все для индексации):

Disallow:

Пример (сайт полностью запрещен к индексации. Для этого используется символ «/»):Disallow: /

Пример (для индексирования запрещен файл «page.htm», находящийся в корневом каталоге и файл «page2.htm», располагающийся в директории «dir»):

Disallow: /page.htm

Disallow: /dir/page2.htm

Пример (для индексирования запрещены директории «cgi-bin» и «forum» и, следовательно, все содержимое данной директории):

Disallow: /cgi-bin/

Disallow: /forum/

Возможно закрытие от индексирования ряда документов и (или) директорий, начинающихся с одних и тех же символов, используя только одну запись «Disallow». Для этого необходимо прописать начальные одинаковые символы без закрывающей наклонной черты.

Пример (для индексирования запрещены директория «dir», а так же все файлы и директории, начинающиеся буквами «dir», т. е. файлы: «dir.htm», «direct.htm», директории: «dir», «directory1», «directory2» и т. д.):

Запись «Allow»

Опция «Allow» используется для обозначения исключений из неиндексируемых директорий и страниц, которые заданы записью «Disallow».

Например, есть запись следующего вида:

Disallow: /forum/

Но при этом нужно, чтобы в директории /forum/ индексировалась страница page1. Тогда в файле robots.txt потребуются следующие строки:

Disallow: /forum/

Allow: /forum/page1

Запись «Sitemap»

Эта запись указывает на расположение карты сайта в формате xml, которая используется поисковыми роботами. Эта запись указывает путь к данному файлу.

Пример:

Sitemap: http://site.ru/sitemap.xml

Запись «Host»

Запись «host» используется поисковой системой «Yandex». Она необходима для определения основного зеркала сайта, т. е. если сайт имеет зеркала (зеркало – это частичная или полная копия сайта. Наличие дубликатов ресурса бывает необходимо владельцам высокопосещаемых сайтов для повышения надежности и доступности их сервиса), то с помощью директивы «Host» можно выбрать то имя, под которым Вы хотите быть проиндексированы. В противном случае «Yandex» выберет главное зеркало самостоятельно, а остальные имена будут запрещены к индексации.

В целях совместимости с поисковыми роботами, которые при обработке файла robots.txt не воспринимают директиву Host, необходимо добавлять запись «Host» непосредственно после записей Disallow.

Пример: www.site.ru – основное зеркало:

Host: www.site.ru

Запись «Crawl-delay»

Эту запись воспринимает Яндекс. Она является командой для робота делать промежутки заданного времени (в секундах) между индексацией страниц. Иногда это бывает нужно для защиты сайта от перегрузок.

Так, запись следующего вида обозначает, что роботу Яндекса нужно переходить с одной страницы на другую не раньше чем через 3 секунды:

Crawl-delay: 3

Комментарии

Любая строка в robots.txt, начинающаяся с символа «#», считается комментарием. Разрешено использовать комментарии в конце строк с директивами, но некоторые роботы могут неправильно распознать данную строку.

Пример (комментарий находится на одной строке вместе с директивой):

Disallow: /cgi-bin/ #комментарий

Желательно размещать комментарий на отдельной строке. Пробел в начале строки разрешается, но не рекомендуется. 


4. Примеры файлов robots.txt

Пример (комментарий находится на отдельной строке):
Disallow: /cgi-bin/#комментарий

Пример файла robots.txt, разрешающего всем роботам индексирование всего сайта:

User-agent: *

Disallow:

Host: www.site.ru

Пример файла robots.txt, запрещающего всем роботам индексирование сайта:

User-agent: *

Disallow: /

Host: www.site.ru

Пример файла robots.txt, запрещающего всем роботам индексирование директории «abc», а так же всех директорий и файлов, начинающихся с символов «abc».

User-agent: *

Disallow: /abc

Host: www.site.ru

Пример файла robots.txt, запрещающего индексирование страницы «page.htm», находящейся в корневом каталоге сайта, поисковым роботом «googlebot»:

User-agent: googlebot

Disallow: /page.htm

Host: www.site.ru

Пример файла robots.txt, запрещающего индексирование:

– роботу «googlebot» – страницы «page1.htm», находящейся в директории «directory»;

– роботу «Yandex» – все директории и страницы, начинающиеся символами «dir» (/dir/, /direct/, dir.htm, direction.htm, и т. д.) и находящиеся в корневом каталоге сайта.

User-agent: googlebot

Disallow: /directory/page1.htm

User-agent: Yandex

Disallow: /dir

Host: www.site.ru

5. Ошибки, связанные с файлом robots.txt

Одна из самых распространенных ошибок – перевернутый синтаксис.

Неправильно:

User-agent: /

Disallow: Yandex

Правильно:

User-agent: Yandex

Disallow: /

Неправильно:

User-agent: *

Disallow: /dir/ /cgi-bin/ /forum/

Правильно:

User-agent: *

Disallow: /dir/

Disallow: /cgi-bin/

Disallow: /forum/

Если при обработке ошибки 404 (документ не найден), веб-сервер выдает специальную страницу, и при этом файл robots.txt отсутствует, то возможна ситуация, когда поисковому роботу при запросе файла robots.txt выдается та самая специальная страница, никак не являющаяся файлом управления индексирования.

Ошибка, связанная с неправильным использованием регистра в файле robots.txt. Например, если необходимо закрыть директорию «cgi-bin», то в записе «Disallow» нельзя писать название директории в верхнем регистре «cgi-bin».

Неправильно:

User-agent: *

Disallow: /CGI-BIN/

Правильно:

User-agent: *

Disallow: /cgi-bin/

Ошибка, связанная с отсутствием открывающей наклонной черты при закрытии директории от индексирования.

Неправильно:

User-agent: *

Disallow: dir

User-agent: *

Disallow: page.HTML

Правильно:

User-agent: *

Disallow: /dir

User-agent: *

Disallow: /page.HTML

Чтобы избежать наиболее распространенных ошибок, файл robots.txt можно проверить средствами Яндекс.Вебмастера или Инструментами для вебмастеров Google. Проверка осуществляется после загрузки файла.


 6. Заключение

Таким образом, наличие файла robots.txt, а так же его составление, может повлиять на продвижение сайта в поисковых системах. Не зная синтаксиса файла robots.txt, можно запретить к индексированию возможные продвигаемые страницы, а так же весь сайт. И, наоборот, грамотное составление данного файла может очень помочь в продвижении ресурса, например, можно закрыть от индексирования документы, которые мешают продвижению нужных страниц.

internet-dlya-biznesa
Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
Отправить отзыв
  • Миша Коралев
    1
    комментарий
    0
    читателей
    Миша Коралев
    6 месяцев назад
    Скажите пожалуйста в robots.txt  можно запретить от индексации входящие ссылки плохих доноров?
    -
    0
    +
    Ответить
    Поделиться
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Пишем биддер для Google AdWords из 10 строчек
Anton Stremovskyy
2
комментария
0
читателей
Полный профиль
Anton Stremovskyy - // Позиция рекламного объявления которую пытаемся занять. var TARGET_AVERAGE_POSITION = 3; // Когда позиция обьявления будет между TOLERANCE и TARGET_AVERAGE_POSITION, // Ее ставка не будет изменена. var TOLERANCE = 0.1; // Значение для корректировки ставки (1.05 = 5%). var BID_ADJUSTMENT_COEFFICIENT = 1.05; function main() { raiseKeywordBids(); lowerKeywordBids(); } function raiseKeywordBids() { // Условие для увеличения ставки: Средняя позиция больше (хуже) чем // TARGET_AVERAGE_POSITION + TOLERANCE var keywordsToRaise = AdWordsApp.keywords() .withCondition("Status = ENABLED") .withCondition("AveragePosition > " + (TARGET_AVERAGE_POSITION + TOLERANCE)) .orderBy("AveragePosition ASC") .forDateRange("LAST_7_DAYS") .get(); while (keywordsToRaise.hasNext()) { var keyword = keywordsToRaise.next(); keyword.setMaxCpc(keyword.getMaxCpc() * BID_ADJUSTMENT_COEFFICIENT); } } function lowerKeywordBids() { // Условия для снижения ставки: Ctr больше чем 1% и // средняя позици лучше (меньше) чем TARGET_AVERAGE_POSITION - TOLERANCE var keywordsToLower = AdWordsApp.keywords() .withCondition("Ctr > 0.01") .withCondition("AveragePosition < " + (TARGET_AVERAGE_POSITION - TOLERANCE)) .withCondition("Status = ENABLED") .orderBy("AveragePosition DESC") .forDateRange("LAST_7_DAYS") .get(); while (keywordsToLower.hasNext()) { var keyword = keywordsToLower.next(); keyword.setMaxCpc(keyword.getMaxCpc() / BID_ADJUSTMENT_COEFFICIENT); } }
Тест: проверь свои знания по SEO
Гость - Ну вот и плохо что в каноникалах ты не сечешь, тестировщик. Ни пользоваться ими не умеешь ни назначения не знаешь. За то кого-то там "тестируешь".
Золотое правило SEO: хватит технарствовать – пора фигачить!
Рустем Фахрутдинов
14
комментариев
0
читателей
Полный профиль
Рустем Фахрутдинов - На самом деле, мы сделали почти всё :) А в статье - пример того, как это удалось чуть позже автоматизировать.
Ссылки все еще работают?
Roman Popov
41
комментарий
0
читателей
Полный профиль
Roman Popov - Но это ведь совсем другая история! =)) По коммерческим запросам такими вещами заниматься не следует. По информационным - можно, вероятность схватить по голове тут довольно маленькая даже при злоупотреблениях.
100 полезных ресурсов, без которых не обойтись начинающему SEO-специалисту
Игорь Ходырев
1
комментарий
0
читателей
Полный профиль
Игорь Ходырев - От души. Действительно самые полезные ресурсы. Использую 90% из перечисленного. Кокшаров и Шахов - лучшие!
Мастер-класс: как составить файл sitemap.xml
Айрат Рахимзянов
0
комментариев
0
читателей
Полный профиль
Айрат Рахимзянов - Здравствуйте Максим. Возможно, вам будет интересна новая статья: www.seonews.ru/analytics/metody-bystroy-indeksatsii-sayta/
Энциклопедия интернет-маркетинга: составляем корректный robots.txt своими руками
Kirill Terentiev
10
комментариев
0
читателей
Полный профиль
Kirill Terentiev - "Недокументированные" возможности robots.txt Можно разместить вакансию, например. # Приглашаем на работу SEO-специалистов: оптимизаторов, аккаунт-менеджеров hh.ru/employer/18738 User-agent: * Disallow:
Секреты быстрой индексации в Яндекс и Google
Гость - Игорь, давно не слышал от вас ничего дельного по seo, только и умеете, что других высмеивать - то на конференции, то в комментариях. Если вы такой умный, что же не публикуете тут свои статьи? Боитесь, что также высмеют?
Кому бесплатный билет на базовый курс Excel от Макса Уварова?
Maxim Uvarov
10
комментариев
0
читателей
Полный профиль
Maxim Uvarov - Дайте какой-нибудь контакт в социальных сетях, где видно ваше имя?
Кейс: +1500000 трафика для игрового портала
Артур Латыпов
17
комментариев
0
читателей
Полный профиль
Артур Латыпов - Текущие данные проекта joxi.ru/12M7ZKRs4nLNnr - трафик проекта joxi.ru/n2YRZ7Jhj4nlPA - распределение по источникам Про принципиальные изменения в работе мы не договоримся? :)
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
285
Комментариев
262
Комментариев
171
Комментариев
169
Комментариев
137
Комментариев
131
Комментариев
123
Комментариев
97
Комментариев
97
Комментариев
92
Комментариев
80
Комментариев
68
Комментариев
67
Комментариев
60
Комментариев
55
Комментариев
52
Комментариев
45
Комментариев
44
Комментариев
44

Отправьте отзыв!
Отправьте отзыв!