Рекламные кампании для вашего бизнеса
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:

Почему robots.txt не работает

Россия +7 (495) 960-65-87
Шрифт:
5 7258

Даже если страницы, файлы или документы закрыты в файле robots.txt, они могут попадать в поисковую выдачу. Почему это происходит и как этого избежать, рассказал Платон Щукин в своем блоге.

Индексирующий робот Яндекса строго следует все правилам, прописанным в robots.txt. Однако чтобы робот правильно понимал все предписания, необходимо соблюдать ряд условий:

  • Файл robots.txt должен располагаться в корневом каталоге сайта, то есть быть доступен по адресу вида site.ru/robots.txt. Он не может располагаться на другом сайте, поддомене или в другой директории сайта.
  • Чтобы директивы из robots.txt были учтены роботом, при его обращении к файлу должен возвращаться код HTTP 200. Если же файл осуществляет перенаправление или отвечает любым другим кодом, отличным от 200, робот не сможет получить его содержимое.
  • Размер файла не должен превышать 32Кб, в противном случае робот посчитает такую инструкцию чрезмерно сложной или ошибочной и будет воспринимать её, как полностью разрешающую.
  • Если в robots.txt присутствуют правила для нескольких индексирующих роботов, робот Яндекса будет использовать только те, которые предназначены именно для него, то есть размещенные после строки «User-agent: Yandex».
  • Если робот встретит конфликтующие директивы, например:
    User-agent: Yandex
    Allow: /
    Disallow: *

    то он выберет разрешающее правило, которое позволит страницам участвовать в поиске.

Самостоятельно проверить корректность настроек файла robots.txt можно с помощью Анализатора robots.txt . Также Платон отметил, что после редактирования robots.txt информация в поиске обновляется не сразу, обычно это происходит в течение 1-2 недель.

1.jpg

internet-dlya-biznesa
Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
Отправить отзыв
  • Denny Smirnov
    2
    комментария
    0
    читателей
    Denny Smirnov
    больше года назад
    Спасибо, поржал. В статье под заголовком "почему robots.txt не работает", нам рассказали, как он работает. За последние 15 лет эти правила не менялись, зачем это здесь.
    -
    1
    +
    Ответить
    Поделиться
  • Гость
    больше года назад
    Вот так советы, непомерно полезно просто!
    -
    3
    +
    Ответить
    Поделиться
    • Гость
      Гость
      больше года назад
      И не говори,  обязательно в закладки!
      -
      0
      +
      Ответить
      Поделиться
      • Сергей Сажин
        1
        комментарий
        0
        читателей
        Сергей Сажин
        Гость
        больше года назад
        В google выдается url закрытый в robots.txt для индексации, когда копируешь ссылку и вводишь в поиск, показывается страница сайта, только без описания.
        -
        0
        +
        Ответить
        Поделиться
        • quTG
          0
          комментариев
          0
          читателей
          quTG
          Сергей Сажин
          больше года назад
          Если Google проиндексировал страницу, она уже никуда не денется. А в выдаче будет мусор без описания. Не совсем ясно, зачем
          -
          0
          +
          Ответить
          Поделиться
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
23 действительно эффективных совета по продвижению интернет-магазина
Гость - Троль Гуру паНгинации - Что такое паНгинация?))))
Конкурс: угадайте пятерку лидеров рейтинга «SEO глазами клиентов 2016»
Марина
1
комментарий
0
читателей
Полный профиль
Марина - Ingate i-Media SEO.RU Netpeak 1PS.RU
Анализ ссылок: сравнение многофункциональных платформ по размеру их баз
Михаил - Хватит пениться на каждый аргументированный отзыв. Это не придает вашей компании чести.
Как создать интернет-магазин: сколько стоит открытие?
Гость - да у битрикса что ни обновление - то сплошные баги. недавно знакомый обновился на лицензии интернет-магазина, про***лись заказы за последнюю неделю, слетели все связи по складам. одним словом, жопа. при этом обновился на сразу, а спустя месяц после выкатывания, надеялся, успеют все поправить
Как упростить продвижение вечными ссылками?
Coursh - Зарегестрировался. Накинули 1100 рубликов за пополнение на 10к. Очень неплохо!
Вопрос недели: почему сайт хорошо ранжируется в Google и не интересует Яндекс?
Nina S.Dzh. - У вас достаточно конкурентная тематика для рунета и по главной странице домена расположена англоязычная версия. Полагаю, в этих двух фактах вся проблема. Поскольку Яндекс в данном случае считает английскую версию сайта приоритетной, а среди ваших конкурентов в выдаче достаточно много хороших русскоязычных сайтов, то он и не ранжирует ваш сайт высоко. Грубо говоря, ему есть что предложить пользователю и без вашего сайта. На мой взгляд, в данном случае версии нужно разводить по разным доменам, русскую вешать на RU и продвигать там.
Кому и зачем нужен маркетплейс от Яндекса
Дарья Калинская
0
комментариев
0
читателей
Полный профиль
Дарья Калинская - Максим, спасибо, рада, что статья оказалась полезной )
Конкурс: угадай победителя рейтинга «Известность бренда SEO-компаний»
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Оптимизм Дэмис Кокос Ашманов и Партнеры Раш эдженси
ТОП-10 автоматизированных сервисов контекстной рекламы
Жанна Рожкова
155
комментариев
0
читателей
Полный профиль
Жанна Рожкова - Научитесь отличать рекламу от PR-активности. Если следовать вашей логике, на этом сайте (и на всех остальных информационных ресурсах в принципе) кроме рекламы ничего и нет. Так что насчет статьи от понимающего эксперта? Будем рады, если подготовите
Тест: Продвинь сайт в Google с одной попытки
Гость15 - Спасибо)
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
285
Комментариев
262
Комментариев
200
Комментариев
171
Комментариев
155
Комментариев
137
Комментариев
123
Комментариев
97
Комментариев
97
Комментариев
93
Комментариев
80
Комментариев
70
Комментариев
67
Комментариев
60
Комментариев
55
Комментариев
52
Комментариев
49
Комментариев
45
Комментариев
44

Отправьте отзыв!
Отправьте отзыв!