Россия+7 (495) 960-65-87

Мастерство использования robots.txt файлов

Россия+7 (495) 960-65-87
Шрифт:
0 7442

Упростить работу по оптимизации можно используя файлы robots.txt . Они представляют собой простые файлы, указывающие роботам, паукам поисковой системы, какие файлы индексировать в базу данных, а какие нет. В данной статье будут представлены доказательства важности robots.txt для процесса оптимизации, а также возможные последствия не использования или использования неверно составленных файлов robots.txt.

Как поисковые системы реагируют на Robots.txt

Определенной модели поведения поисковых систем при встрече с файлами robots.txt во время их обхода нет. Достаточно проследить информацию из web stats, чтобы понять востребованность файлов robots.txt у поисковых систем. Большинство пауков начинают обход сайта, в первую очередь, с изучения именно этих файлов. При отсутствии robots.txt-файлов, большинство поисковых роботов будут обходить web-сайты, оставляя их не проиндексированными. Пренебрежение файлами robots.txt повлечёт за собой негативные последствия, однако существуют и более отрицательные результаты.

Поведение большинства крупных поисковых роботов и пауков при чтении файлов robots.txt разнообразно.


MSNbot
Поисковый робот системы MSN называется MSNbot. Он довольно активно обходит web-сайты. Некоторым web-мастерам это нравится, и они пытаются этим пользоваться. Другие не видят никаких причин тратить старания на поисковые системы, считая, что это не повлияет на увеличение трафика. MSNbot не станет обходить сайт, если он (сайт) не представлен файлами robots.txt. Присутствие подобных файлов в базе данных увеличивает интерес поискового робота к сайту.

Несколько месяцев назад MSN получила много жалоб на то, что MSNbot игнорирует директории, прописанные в файлах robots.txt. Разработчики рассмотрели проблему и внесли некоторые изменения, позволяющие контролировать подобное поведение роботов.


Yahoo’s Inktomi Slurp
Yahoo легализовал использование поискового робота Inktomi, теперь известного как Slurp. Кажется, что Inktomi/Yahoo's Slurp перерабатывает большой объем информации за пару дней, исчезает, возвращается, перерабатывает намного больше и вновь исчезает. Однако без файлов robots.txt его функционирование представляется более медленным, порой не эффективным, т.к. он не может проникнуть глубоко в структуру сайта.


Googlebot
На сайте Google представлены рекомендации и необходимые инструкции по правильному использованию подобных файлов. Поисковым оптимизаторам хорошо известно, что инструкции Google для web-мастеров - это больше, чем просто пошаговые рекомендации по оптимизации сайтов в поисковых системах. Так что, если файлы robots.txt упоминаются Google, значит, использовать их стоит. Без них Googlebot обходит сайты не достаточно эффективно.


IA_Archiver
Это робот поисковой системы Alexa. Охарактеризовать его можно как агрессивного «паука» с большим «аппетитом», вызываемым новой информацией, но, несмотря на это, очень любезным и обходительным. Он ограничивает свой обход до пары сотен страниц за один раз и функционирует достаточно медленно чтобы не перегружать сервер. Этот робот проводит свой обход в течение нескольких дней. Очередное появление робота ia_archiver можно определить, проанализировав статистику сайта. Он полностью выполняет команды и указания robots.txt-файлов.

Существует много пауков и роботов, демонстрирующих другое поведение во время обхода сайта. «Хорошие» будут следовать файлам robots.txt, «плохие» - нет. Далее будут рассмотрены некоторые способы, позволяющие избежать проблем с поисковыми роботами и использовать помощь файлов robots.txt.

Усовершенствованные команды и свойства файлов robots.txt

Основной набор команд, составляющих файлы robots.txt, представляют собой информацию двух видов: команды и характеристики. Следует помнить, что не все поисковые роботы понимают эти команды. Важно знать, какие именно не справляются с этим.


Приостановка индексирования
Некоторые роботы известны тем, что обходят веб-страницы с мгновенной скоростью, тем самым, становясь причиной того, что веб-серверы ограничивают доступ к ip-адресам сайтов другим роботам, активизируя специальное программное обеспечение. Когда робот начинает слишком быстро считывать информацию из базы данных, эта программа начинает блокировать работу поисковой системы.

Не обязательно наказывать всех поисковых роботов, используя эти программы, контролировать действия более послушных роботов можно с помощью команды приостановки индексирования: crawl delay.

User-agent: MSNbot
Disallow: /

С помощью другой команды robots.txt можно точно определить время приостановки (в секундах), после окончания которого, MSNbot приступит к дальнейшему индексированию страниц. Она (команда) выглядит следующим образом:

User-Agent: MSNbot
Crawl-Delay: 20

Другими поисковыми роботами, поддерживающими эту команду, являются Slurp, Ocelli, Teoma/AskJeeves, Spiderline. Официально Googlebot считается воспитанным роботом и следует данной команде, т.к. зачастую в этом нет необходимости. Если Вы не уверенны, поддерживается ли эта команда роботами той или иной поисковой системы, на помощь придет группа технической поддержки этой поисковой системы. Получить контактную информацию можно на сайте Robots.Txt.org, там же Вы найдете перечень многих поисковых роботов и указание на то, к какой поисковой системе они относятся. Например, не многие знают, что Slurp принадлежит Yahoo, а Scooter - AltaVista.


Мета-тэг инструкции
Благодаря широкому распространению поисковых роботов, перечислить всех с описанием их преимуществ и недостатков не представляется возможным. Многие малоизвестные из них не учитывают robots.txt-файлы. Что делать в этом случае? Многие веб-мастера добавляют специальные команды к мета-тэгам. Подобно всем остальным мета-тэгам, такие тэги ставятся в секции

.

< meta name="robots" content="noindex">, данный тэг сообщает поисковому роботу не индексировать страницу.

< meta name="robots" content="noindex,nofollow">, тэг также запрещает роботу индексировать и анализировать его на ссылки.


Ниже представлен список возможных тэгов:

< meta name="robots" content="index,follow">
< meta name="robots" content="noindex,follow">
< meta name="robots" content="index,nofollow">
< meta name="robots" content="all">

К сожалению, нет гарантии того, что каждый поисковый робот будет следовать данной команде. В случае непослушания остается одно - найти в лог-файлах сервера IP-адрес, с которого робот заходит на Ваш сайт, и просто запретить ему доступ к Вашей базе данных.


Ограничение потребляемых ресурсов
Другая проблема, связанная с роботами поисковых систем, - это необходимые для их работы ресурсы. Робот может израсходовать чуть ли не весь Ваш трафик всего лишь за один визит на сайт. Таким образом, индексирование обернется для Вас дорогим удовольствием.

Отсутствие файла robots.txt может стать причиной ошибки № 404, когда поисковая система просто не может найти нужную страницу. Размещение на сайте страницы, предназначенной для вывода информации об ошибке 404, также повлечет расход трафика. Поэтому небольшие robots.txt-файлы, не требующие значительных затрат, могут стать наиболее приемлемым решением проблемы.

Некоторые веб-разработчики предлагают другой способ, позволяющий сократить затраты трафика поисковым роботом, – это тег "revisit-after", например:

< meta name="revisit-after" content="15 days">

Однако не все поисковые системы (например, Google) поддерживают эту программу. И если Вы заметили, что Googlebot слишком часто заходит в Вашу базу данных, поглощая немало трафика, следует обратиться к справочным страницам Google с просьбой о том, чтобы Googlebot реже посещал сайт.

Можно также закрыть доступ к базе данных для определенных роботов и открыть его для других или прописать индивидуальную инструкцию для каждого робота . Работа с robots.txt отличается гибкостью.

Использование robots.txt в целях обеспечения общей безопасности

Многим известна история компании Perfect 10, которая обвинила корпорацию Google в незаконном использовании информации, а точнее, фотографий с их сайта. Согласно BusinessWire.com, прикрываясь статусом поисковой системы, Google незаконно распространил тысячи фотографий, принадлежащих Perfect 10, и этим привлек на свой сайт огромный трафик, сопоставимый с прибылью в сотни тысяч долларов, по праву предназначенных для Perfect 10. Как утверждает Perfect 10, даже после обвинений в посягательстве на "частную собственность", Google и не думает прекращать свою не корректную деятельность и продолжает распространять фотографии, не спрашивая на то разрешения.

Самое интересное в этой ситуации то, что виноваты, как ни странно, сами Perfect 10. Они не проинструктировали поисковую систему о том, что использование фотографий запрещено. Две простые строчки robots.txt-файла в базе данных помогли бы избежать подобных проблем.

User-agent: Googlebot-Image
Disallow: /images

В заключение отметим: для того чтобы сохранить что-либо в тайне, нужно использовать логины и пароли! Не хотите, чтобы поисковая система проиндексировала Ваш сайт, используйте robots.txt и специальные мета-теги. Robots.txt- файлы - эффективный метод контроля, только не забывайте, что безопасность Вашей информации - в Ваших руках!

По информации www.seochat.com

(Нет голосов)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
    ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
    Сколько ссылок помогут продвинуть молодой сайт
    Павел Андрейчук
    38
    комментариев
    0
    читателей
    Полный профиль
    Павел Андрейчук - Дело в том, что вряд ли в ваших платных "качественных" кейсах найдётся хоть пару % действительно новой и полезной информации которой бы не было на общедоступных источниках.
    Сайт на WordPress: за и против
    Мира Смурков
    1
    комментарий
    0
    читателей
    Полный профиль
    Мира Смурков - Людмила, я согласен с большинством комментаторов. Вы хоть один полноценный магазин сделали на этих движках? Woocommerce это система с супер возможностями. И к ней есть дополнительные модули, с функционалом, который вряд ли появиться на Битрикс. А самому это программировать - сотни тысяч рублей на разработку. А приведя в пример сложности с robots.txt и Sitemap вы ставите под вопрос вашу компетенцию в понимании Интернет-бизнеса и веб-разработки в целом. Во-первых это такие мелочи, а во-вторых это все делается на вордпресса за 2 минуты, и опять же с возможностями многократно превышающими Битрикс.
    Обзор популярных CMS: плюсы и минусы
    Андрей Литвиненко
    2
    комментария
    0
    читателей
    Полный профиль
    Андрей Литвиненко - + там где нужно прописать каноникал, там где нужно поставить мета тег ноиндекс (т.к. Гугл не всегда следует правилам robots.txt) ну и то что выше, к техническим сео возможнлстям можно еще отнести легкое и хотя бы полуавтоматическое добавление микроразметки по сайту, увы "из коробки" такого функционала нет ни в одной cms, все на допиливаниях
    Google обошел Яндекс по популярности в России в 2018 году: исследование SEO Auditor
    Рамблер
    1
    комментарий
    0
    читателей
    Полный профиль
    Рамблер - Вот вроде отечественный - это сказано верно.. «Я́ндекс» — российская транснациональная компания, зарегистрированная в Нидерландах. Так говорится в Википедии. И с хрена ли ОТЕЧЕСТВЕННЫЙ поисковик зарегистрирован в Европе? И где платится основная часть налогов? Ну-ууу, точно не в России. И если запахнет жаренным, то был Яндекс и нет Яндекса!
    8 методик в SEO, от которых давно пора отказаться
    Евгений Сметанин
    12
    комментариев
    0
    читателей
    Полный профиль
    Евгений Сметанин - Факторов вообще очень много, согласитесь, вы будете использовать максимальное их количество, особенно, если в ТОПе засели агрегаторы с сумасшедшими ПФ. В таких случаях, вхождение ключа в домен для маленького профильного сайта, сыграет свою положительную роль. Конечно же, если контент на страницах хорошего качества. У меня есть несколько успешных кейсов на эту тему. На сайте продают несколько видов товаров, а выстреливает в ТОП тот, название которого присутствует в доменном имени. Как корабль назовешь, так он и поплывет, верно?))
    Google Data Studio: делаем красивые отчеты по контекстной рекламе для клиентов
    Nik Nik
    1
    комментарий
    0
    читателей
    Полный профиль
    Nik Nik - Было интересно узнать в тонкостях такую немаловажную часть наших трудов, как отчёты в GDS! Я пока не так опытен, но статья была крайне полезной! Не нашёл шаблон - ещё не делились?
    Инструкция: настраиваем цели Яндекс.Метрики через Google Tag Manager
    Roman Gorkunenko
    1
    комментарий
    0
    читателей
    Полный профиль
    Roman Gorkunenko - Здравствуйте. Подскажите, пожалуйста, можно с айпи метрики вытащить среднюю стоимость клика по утм меткам? В метрике есть такой шаблон tags_u_t_m, но он не совместим с меткой директа, у них разные префиксы.
    Аудит структуры интернет-магазина мебели от «Ашманов и партнеры»
    Дмитрий
    11
    комментариев
    0
    читателей
    Полный профиль
    Дмитрий - Сергей, а вы допускаете, что вся ваша жизнь - seo-миф?
    Как выбрать подрядчика для продвижения сайта: 7 уровней воронки поиска
    aashutosh
    1
    комментарий
    0
    читателей
    Полный профиль
    aashutosh - data science training institute in noida- Webtrackker Technology (8802820025) providing Data Science Training in Noida. Get ✓ 40 Hours Learning training✓ 70 Hrs Projects ✓ 24 X 7 Support ✓ Job Assistance. WEBTRACKKER TECHNOLOGY (P) LTD. C - 67, sector- 63, Noida, India. E-47 Sector 3, Noida, India. +91 - 8802820025 0120-433-0760 +91 - 8810252423 012 - 04204716 EMAIL:info@webtrackker.com webtrackker.com/Best-Data-Science-Training-Institute-in-Noida.php
    Как построить качественный ссылочный профиль на основе конкурентов
    Ирина
    2
    комментария
    0
    читателей
    Полный профиль
    Ирина - Давно сотрудничаю с megaindex.com и считаю данный сервис одним из лучших в сео сегменте рунета да и не только рунета. Пользуюсь их инструментами для аналитики своих работ и выявлению своих и чужих ошибок. Да и ссылочный профиль, как и говорится в данной статье сделать гораздо проще и правильней при помощи как раз мегаиндекса. Добавлю еще что инструмент для поиска конкурентов у мегаиндекса очень удобный и простой в применении.
    ТОП КОММЕНТАТОРОВ
    Комментариев
    910
    Комментариев
    834
    Комментариев
    554
    Комментариев
    540
    Комментариев
    483
    Комментариев
    373
    Комментариев
    345
    Комментариев
    262
    Комментариев
    247
    Комментариев
    171
    Комментариев
    156
    Комментариев
    137
    Комментариев
    121
    Комментариев
    101
    Комментариев
    97
    Комментариев
    97
    Комментариев
    96
    Комментариев
    80
    Комментариев
    77
    Комментариев
    67
    Комментариев
    60
    Комментариев
    59
    Комментариев
    59
    Комментариев
    57
    Комментариев
    55

    Отправьте отзыв!
    Отправьте отзыв!