×
Россия +7 (909) 261-97-71

Я.Вебмастер позволит регулировать скорость обхода сайта

Россия +7 (909) 261-97-71
Шрифт:
1 8829
Подпишитесь на нас в Telegram

В Яндекс.Вебмастер добавили новый инструмент – «Скорость обхода». Его можно найти в разделе «Индексирование». Инструмент позволяет регулировать, как часто Яндекс может делать запросы к сайту (регулировать скорость обхода сайта со стороны поисковых роботов).

По умолчанию Яндекс будет подбирать максимальную скорость для конкретного сайта, учитывая допустимые нагрузки для сервера.

orig.png

Команда Яндекса также проанализировала письма в поддержку по вопросам индексирования за последние два года. Выяснилось, что одной из основных причин медленного скачивания документов является неправильно настроенная директива Crawl-delay в robots.txt. Владельцы сайтов часто ставят такие же значения, как «у других», – как у старых сайтов, серверами которых служили еще «домашние» компьютеры, а не мощные стойки в дата-центрах. Бывали случаи, когда встречались такие значения, как 20, 50, а порой и 100. При этом, если этот показатель был больше 2, скорость обхода сайта сильно снижалась, так как именно эта директива отвечает за то, как часто робот может обращаться к сайту. Из-за неверно установленной директивы страницы сайта могли долгое время не индексироваться роботом.

Чтобы владельцам сайтов больше не приходилось об этом беспокоиться, Яндекс решил отказаться от директивы Crawl-delay. Все, кто по каким-то причинам хочет ограничить скорость обхода сайта, может воспользоваться «Скоростью обхода». Он заменит собой рекомендации из директивы. Настроить его можно уже сейчас, а настройки начнут учитываться с 22 февраля.

В случае, если пользователь не знает, какое именно значение Crawl-delay нужно установить для его сайта, он может поставить значение «Доверить Яндексу». Робот сам выберет наиболее оптимальную частоту индексирования сайта.

Источник: Блог Яндекса для вебмастеров

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Марина Белова
    1
    комментарий
    0
    читателей
    Марина Белова
    больше года назад
    Доверяю Яндексу. Вот если бы скорость была бы моментальной, было бы очень здорово!
    -
    1
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Роскомнадзор начал требовать от владельцев сайтов уведомлять об использовании Google Analytics. Опыт SEOnews
Денис Добрынин
1
комментарий
0
читателей
Полный профиль
Денис Добрынин - Что-то я как-то пропустил момент, с которого например госномер автомобиля или разрешение монитора и версия установленного на ПК ОС стала перс.данными... Но сегодня тоже получили бумажку с ай-яй-яем. Пойдем на прием в теруправление.
Тренды SEO в 2025 году
Борис
4
комментария
0
читателей
Полный профиль
Борис - 50/50 Описанная тобой ситуация (надеюсь, не против, что сразу на "ты") — типичная и вообще не требует какого-то глубинного опыта. Достаточно немного логики и наблюдательности. Разобью на пункты для читабельности: 1) Каннибализацию очень просто распознать. Достаточно загрузить СЯ в систему съёма позиций и мониторить источники. Если происходит некое «мигание» — идём (повторно) в топ, смотрим, подтверждаем гипотезу — склеиваем. 2) Но чаще всего эту проблему можно решить на уровне качественной группировки СЯ. А некоторые кластеры со знаком вопроса, которые мы решили разделить на несколько, достаточно держать под контролем. И снова получается, что внимательность и логика здесь могут помочь. И никакого серьёзного опыта не требуется. 3) Соглашусь, что в Яндексе правило "Интент = одна страница" — очень важно, но не всегда. Например, есть кластер, связанный с установкой сантехники, который включает запросы: "установка сантехники", "цена на установку сантехники". Вот здесь, как раз, для многих может быть неочевидно, что кластер лучше разделить на два: "Установка сантехники" и "Цена на установку сантехники". 4) Продолжая мысль из п.3 — в такой ситуации в Яндексе (скорее всего) всё будет ок. И никакой каннибализации не произойдёт. 5) Если говорить про Google (тот же п.3), то здесь, вероятно, возникнут проблемы (всё зависит от оптимизации страниц). Эти два кластера могут не дотянуть до топа из-за своей релевантности. Мы все знаем, что Google может «съесть» страницу с несколькими интентами, и всё будет ок. (в этом предложении пасхалка, что нужно сделать ;)) А если ещё поработать над ссылочным — вообще сказка. Конечно, эту проблему можно решить, но если переборщить, то каннибализация может уже произойти в Яндексе. Вот как раз чтобы уловить эту тонкую грань, и нужен хоть какой-то опыт, которого часто нет у джунов.
Россиянам могут запретить рекламу в Instagram* и Facebook*
Марина Ибушева
66
комментариев
0
читателей
Полный профиль
Марина Ибушева - Окончательное как раз и означает третье. Любой законопроект перед тем, как отправиться в Совет Федерации и на подпись прзиденту, проходит в России три обязательные стадии рассмотрения в Государственной Думе: Первое чтение - обсуждается общая концепция законопроекта. Второе чтение - более детальное обсуждение проекта, поправки и дополнения. Третье чтение (окончательное) - голосование за проект. Так что ожидается 25 марта второе и третье, окончательное чтение.
Фиды, фильтры, внутренний поиск: как выжать максимум при технических ограничениях и увеличить трафик более чем в 5 раз
i-Media интернет-агентство
2
комментария
0
читателей
Полный профиль
i-Media интернет-агентство - Google Merchant работает, товары показываются - в кейсе есть скриншот с примером.
Целевая аудитория: как найти и встроиться в ее вселенную
Александра
2
комментария
0
читателей
Полный профиль
Александра - Здравствуйте! Благодарю Вас за отличную статью! Много полезной информации, написано доступным языком.
Количество пользователей ИИ в сервисах Mail превысило 5 млн человек
Сергей Карененко
1
комментарий
0
читателей
Полный профиль
Сергей Карененко - Поздравление еще худо бедно написать можно. А когда в почте больше 10к писем, вот тут хорошо, что ии есть)
В Почте и Облаке Mail появился новый тариф – «Семейный»
Анна Макарова
393
комментария
0
читателей
Полный профиль
Анна Макарова - Да, конечно, владелец видит все файлы. А про других пользователей так написано: подключившие этот тариф, могут добавлять в подписку до 4 пользователей. Всем, кого пригласили в подписку, предоставляется доступ к терабайту облачного пространства для общих дел.
Застройщик в тумане. Как девелоперу лучше контролировать агентства
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Тут важно, чтобы и застройщики были готовы согласовать гипотезы, оптимизацию и корректировки креативов, а не отказывались от всего предложенного, а потом спрашивали , почему ничего не сделано
Что такое поведенческие факторы и как их улучшить легальными методами
Гость12
1
комментарий
0
читателей
Полный профиль
Гость12 - эта тема интересна, было бы полезно выложить больше технических деталей ого, на вашем сайте новый комментарий! ))
Как управлять репутацией фармацевтических препаратов в 2025 году
Сергей Медведев
2
комментария
0
читателей
Полный профиль
Сергей Медведев - Отличное исследование, ждем исследования на тематику банки и детского питания.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
393
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
124
Комментариев
121
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
66
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!