Рекламные кампании для вашего бизнеса
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:

Дары Яндекса - директива Crawl-delay и поддержка GZIP

Россия +7 (495) 960-65-87
Шрифт:
0 2768

Логотип ЯндексЯндекс предоставил вебмастерам возможность управлять таймаутом, с которым поисковый робот закачивает страницы с сервера (Crawl-delay).
О необходимости этой директивы вебмастера говорили уже давно, сложности возникают, когда сервер сильно нагружен и не успевает отрабатывать запросы на закачку. А директива Crawl-delay позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей.

В 2006 году особенно остро эта тема обсуждалась в связи с ныне почившей поисковой системой Вебальта, которая в стремлении быстро проиндексировать максимум информации повысила загрузку каналов хостинг-провайдеров и вызвала недовольство владельцев сайтов. Тогда же часть вебмастеров говорила об игнорировании роботом Вебальты файла robots.txt.

Директива Crawl-delay, поясняет аналитик-проектировщик компании Ingate Дмитрий Орлов, решает такую проблему: «Если сервер сильно загружен, а робот пытается утянуть все и сразу, возможны ошибки и, как следствие, проблемы с индексацией. С помощью новой директивы можно заставить работ многократно заходить на сайт с заданным интервалом, в результате чего вероятность корректной обработки сайта повышается».

Команда Яндекса поясняет, как именно нужно добавлять директиву. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, Crawl-delay необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Вы можете посмотреть примеры, которые приводятся на Я.Вебмастере:

User-agent: Yandex
Crawl-delay: 2 # задает таймут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймут в 4.5 секунды

Помимо директивы Crawl-delay, Яндекс сообщает о поддержке скачивания сжатого контента (GZIP). Это позволит уменьшить объем трафика. Как поясняет Сергей Стружков, руководитель отдела ресурсов компании Ingate, GZIP – это «полезная штука для сайтов на хорошем с сервере с большими объемами информации. Яндекс явно хочет "кушать" больше:)
Кроме того, вебмастера Украины, Белоруссии и других стран, куда "стучится" Яндекс, теперь смогут сэкономить на плате за трафик, поскольку его объем можно будет уменьшить
»

Теперь поисковый робот Яндекса при каждом запросе документа говорит: "Accept-Encoding: gzip,deflate".

Таким образом, если вебмастр настроил свой веб-сервер, он снизит объем передаваемого трафика между ним и роботом Яндекса.

Правда, команда поисковика предупреждает, что передача контента в сжатом виде увеличивает нагрузку на CPU сервера, и, если он сильно загружен, могут возникнуть проблемы. Поддерживая gzip и deflate, робот придерживается стандарта rfc2616, раздел 3.5.

internet-dlya-biznesa
Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
23 действительно эффективных совета по продвижению интернет-магазина
Гость - Троль Гуру паНгинации - Что такое паНгинация?))))
Конкурс: угадайте пятерку лидеров рейтинга «SEO глазами клиентов 2016»
Марина
1
комментарий
0
читателей
Полный профиль
Марина - Ingate i-Media SEO.RU Netpeak 1PS.RU
Анализ ссылок: сравнение многофункциональных платформ по размеру их баз
Михаил - Хватит пениться на каждый аргументированный отзыв. Это не придает вашей компании чести.
Как создать интернет-магазин: сколько стоит открытие?
Гость - да у битрикса что ни обновление - то сплошные баги. недавно знакомый обновился на лицензии интернет-магазина, про***лись заказы за последнюю неделю, слетели все связи по складам. одним словом, жопа. при этом обновился на сразу, а спустя месяц после выкатывания, надеялся, успеют все поправить
Как упростить продвижение вечными ссылками?
Coursh - Зарегестрировался. Накинули 1100 рубликов за пополнение на 10к. Очень неплохо!
Вопрос недели: почему сайт хорошо ранжируется в Google и не интересует Яндекс?
Nina S.Dzh. - У вас достаточно конкурентная тематика для рунета и по главной странице домена расположена англоязычная версия. Полагаю, в этих двух фактах вся проблема. Поскольку Яндекс в данном случае считает английскую версию сайта приоритетной, а среди ваших конкурентов в выдаче достаточно много хороших русскоязычных сайтов, то он и не ранжирует ваш сайт высоко. Грубо говоря, ему есть что предложить пользователю и без вашего сайта. На мой взгляд, в данном случае версии нужно разводить по разным доменам, русскую вешать на RU и продвигать там.
Кому и зачем нужен маркетплейс от Яндекса
Дарья Калинская
0
комментариев
0
читателей
Полный профиль
Дарья Калинская - Максим, спасибо, рада, что статья оказалась полезной )
Конкурс: угадай победителя рейтинга «Известность бренда SEO-компаний»
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Оптимизм Дэмис Кокос Ашманов и Партнеры Раш эдженси
ТОП-10 автоматизированных сервисов контекстной рекламы
Жанна Рожкова
155
комментариев
0
читателей
Полный профиль
Жанна Рожкова - Научитесь отличать рекламу от PR-активности. Если следовать вашей логике, на этом сайте (и на всех остальных информационных ресурсах в принципе) кроме рекламы ничего и нет. Так что насчет статьи от понимающего эксперта? Будем рады, если подготовите
Экспериментальное SEO: «Дырявые носочки панды»
Adrian - Испания и Португалия находятся в Европе и участвовали в чемпионате Европы. Одна из этих стран даже стала победителем. А Южная и Центральная Америка здесь при том, что там разговаривают на испанском и португальском языках. Сына, учите географию.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
285
Комментариев
262
Комментариев
200
Комментариев
171
Комментариев
155
Комментариев
137
Комментариев
123
Комментариев
97
Комментариев
97
Комментариев
93
Комментариев
80
Комментариев
70
Комментариев
67
Комментариев
60
Комментариев
55
Комментариев
52
Комментариев
49
Комментариев
45
Комментариев
44

Отправьте отзыв!
Отправьте отзыв!