Дары Яндекса - директива Crawl-delay и поддержка GZIP

Россия+7 (495) 960-65-87
Шрифт:
0 3427

Логотип ЯндексЯндекс предоставил вебмастерам возможность управлять таймаутом, с которым поисковый робот закачивает страницы с сервера (Crawl-delay).
О необходимости этой директивы вебмастера говорили уже давно, сложности возникают, когда сервер сильно нагружен и не успевает отрабатывать запросы на закачку. А директива Crawl-delay позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей.

В 2006 году особенно остро эта тема обсуждалась в связи с ныне почившей поисковой системой Вебальта, которая в стремлении быстро проиндексировать максимум информации повысила загрузку каналов хостинг-провайдеров и вызвала недовольство владельцев сайтов. Тогда же часть вебмастеров говорила об игнорировании роботом Вебальты файла robots.txt.

Директива Crawl-delay, поясняет аналитик-проектировщик компании Ingate Дмитрий Орлов, решает такую проблему: «Если сервер сильно загружен, а робот пытается утянуть все и сразу, возможны ошибки и, как следствие, проблемы с индексацией. С помощью новой директивы можно заставить работ многократно заходить на сайт с заданным интервалом, в результате чего вероятность корректной обработки сайта повышается».

Команда Яндекса поясняет, как именно нужно добавлять директиву. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, Crawl-delay необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Вы можете посмотреть примеры, которые приводятся на Я.Вебмастере:

User-agent: Yandex
Crawl-delay: 2 # задает таймут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймут в 4.5 секунды

Помимо директивы Crawl-delay, Яндекс сообщает о поддержке скачивания сжатого контента (GZIP). Это позволит уменьшить объем трафика. Как поясняет Сергей Стружков, руководитель отдела ресурсов компании Ingate, GZIP – это «полезная штука для сайтов на хорошем с сервере с большими объемами информации. Яндекс явно хочет "кушать" больше:)
Кроме того, вебмастера Украины, Белоруссии и других стран, куда "стучится" Яндекс, теперь смогут сэкономить на плате за трафик, поскольку его объем можно будет уменьшить
»

Теперь поисковый робот Яндекса при каждом запросе документа говорит: "Accept-Encoding: gzip,deflate".

Таким образом, если вебмастр настроил свой веб-сервер, он снизит объем передаваемого трафика между ним и роботом Яндекса.

Правда, команда поисковика предупреждает, что передача контента в сжатом виде увеличивает нагрузку на CPU сервера, и, если он сильно загружен, могут возникнуть проблемы. Поддерживая gzip и deflate, робот придерживается стандарта rfc2616, раздел 3.5.

Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
    ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
    Кейс: как продвинуть сайт производителя мебели на заказ в Москве
    Иван Стороженко
    16
    комментариев
    0
    читателей
    Полный профиль
    Иван Стороженко - Примерный бюджет 150 000 руб.
    Рейтинг «Известность бренда SEO-компаний 2017»: народное голосование
    Гость
    1
    комментарий
    0
    читателей
    Полный профиль
    Гость - 1) Ingate 2) Ашманов 3) Кокос 4) Russian Promo 5) Netpeak
    «Баден-Баден»: как выйти из-под фильтра
    Александр Кравцов
    1
    комментарий
    0
    читателей
    Полный профиль
    Александр Кравцов - Всем привет Вот ещё пациент www.gdebar.ru Под фильтром с 20 декабря, прошёл месяц, сегодня обновилось, что можете нажать сново проверить сайт и ждать 59 дней.Может кто сталкивался и сможет как то подсказать? Аудитом например или ещё как то проверить, что стоит подправить,скайп мой icejhell. Готов так же к совместному общению по решению проблемы. Всем успехов )
    Второе дыхание ссылочного продвижения
    Rookee.ru
    24
    комментария
    0
    читателей
    Полный профиль
    Rookee.ru - Еще лучше, когда продвижение осуществляется комплексно :)
    Исследование: влияние smart-ссылок на продвижение по СЧ-запросам
    Анатолий Шевчик
    1
    комментарий
    0
    читателей
    Полный профиль
    Анатолий Шевчик - +1097988
    «Прямая линия» с Александром Алаевым («АлаичЪ и Ко»): отвечаем на вопросы
    Александр Алаев
    13
    комментариев
    0
    читателей
    Полный профиль
    Александр Алаев - Роман. Тут ответ очень простой. Каждый запрос можно четко разделить на коммерческий или некоммерческий. "Купить слона" и его длинные хвосты - коммерческий. "Как выбрать слона" и подобные - информационные. Вот под коммерческие ключи должны быть страницы услуг или каталога товаров. А под информационку - блог. Очень важно не путать их, тем более несоответствующая коммерческим факторам страниц просто не продвинется, то есть по запросу с "купить" блог никогда не будет показываться в выдаче, так же как и страница услуги/товаров не покажется по "как выбрать". Понятно примерно?
    Кейс: продвигаем бизнес по продаже пластиковых окон в Москве
    Иван Стороженко
    16
    комментариев
    0
    читателей
    Полный профиль
    Иван Стороженко - 1. По началу вообще не использовали, сейчас уже много каналов используется. 2. Все может быть, в принципе сайты должны быть удобны для пользователя, для этого и нужна схожесть между собой. Честно говоря старались брать все самое интересное у конкурентов + подкреплять своими идеями.
    Контекст под SEO. Как поисковая реклама помогает позициям в органической выдаче
    Сергей Дембицкий «Sima-Land.ru»
    22
    комментария
    0
    читателей
    Полный профиль
    Сергей Дембицкий «Sima-Land.ru» - Боже мой, неужели SEO-маги вернулись??? Открыть в роботс utm-метки для индексации и наплодить дублей...что? А расчеты в конце статьи про бюджет на SEO и контекст...откуда эти пропорции? Как по мне, SEO-магия вне Хогвартс. Спасибо, развеселили!
    Западные специалисты выяснили, как повысить позиции ресурса в выдаче Google
    Максим Мирошник
    2
    комментария
    0
    читателей
    Полный профиль
    Максим Мирошник -
    Как бесплатно публиковать гостевые посты без миралинкс и бирж ссылок
    Liliya
    1
    комментарий
    0
    читателей
    Полный профиль
    Liliya - Лично для меня черный гостевой постинг со всеми этими биржами ссылок (таких как www.miralinks.ru и sponsoredreviews.com... ) давно уже в прошлом. Белый постинг имеет на много больше преимуществ, перечислять их конечно же не буду... А вообще, хотела поблагодарить за Ваш онлайн-калькулятор, действительно ускорил мне работу, а еще он удобный и быстрый в использовании.
    ТОП КОММЕНТАТОРОВ
    Комментариев
    910
    Комментариев
    834
    Комментариев
    554
    Комментариев
    540
    Комментариев
    483
    Комментариев
    373
    Комментариев
    317
    Комментариев
    262
    Комментариев
    232
    Комментариев
    171
    Комментариев
    156
    Комментариев
    137
    Комментариев
    121
    Комментариев
    97
    Комментариев
    97
    Комментариев
    95
    Комментариев
    85
    Комментариев
    80
    Комментариев
    67
    Комментариев
    60
    Комментариев
    59
    Комментариев
    56
    Комментариев
    55
    Комментариев
    54
    Комментариев
    52

    Отправьте отзыв!
    Отправьте отзыв!