×
Россия +7 (495) 960-65-87

Google решил сделать протокол REP для robots.txt официальным стандартом

Россия +7 (495) 960-65-87
SEOnews
Google решил сделать протокол REP для robots.txt официальным стандартом
Шрифт:
0 2433

Google хочет сделать Robots Exclusion Protocol (REP) официальным стандартом. Для этого вместе с авторами протокола, вебмастерами и представителями других поисковых систем компания задокументировала использование REP в современном интернете и подала заявку в Инженерный совет Интернета (EITF, Internet Engineering Task Force).

robots.txt

Robots Exclusion Protocol (REP) – стандарт ограничения доступа сканерам поисковых систем к содержимому сайта с помощью файла robots.txt. Протокол существует уже более 25 лет.

Документ, направленный в EITF, отражает 20 лет использование robots.txt, учитывая работу Googlebot, других сканеров и более полумиллиарда сайтов, использующих REP.

Новая версия документа не меняет правила, заложенные в robots.txt в 1994 году, а скорее устанавливает значения для ранее не зафиксированных сценариев парсинга, а также приводит его в соответствие с требованиями современного интернета. А именно:

  1. Любой протокол передачи, работающий на URI (например, FTP или CoAP), может использовать robots.txt.
  2. Разработчики должны будут парсить как минимум первые 500 кибибайтов robots.txt.
  3. Максимальный период кэширования в 24 часа позволит разработчикам обновлять robots.txt в любой удобный момент без перегрузки сайта запросами от краулеров.
  4. Если ранее доступный robots.txt становится недоступным, ранее заблокированные для краулеров страницы не будут сканироваться в течение достаточно длительного промежутка времени.

В документе Google также представил обновленную расширенную форму Бэкуса – Наура для улучшенного определения синтаксиса robots.txt.

Также в рамках инициативы Google выложил исходный код парсера robots.txt в открытый доступ. В частности, на GitHub можно найти библиотеку C++, отдельных отрывки кода которой были написаны еще в 90-х. Протестировать код можно здесь.

В компании утверждают, что из-за того, что REP так и не стал официальным стандартом, разработчики все эти годы интерпретировали его по-разному. 

Цель Google – сделать так, чтобы вебмастера смогли сосредоточиться на создании хороших сайтов, не волнуясь о том, что поисковый робот неправильно просканирует сайт.

Напомним, на днях Google сделал mobile-first индексацией по умолчанию для всех новых доменов.

Источник: Блог Google

(Голосов: 2, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Google Data Studio: делаем красивые отчеты по контекстной рекламе для клиентов
Светлана Зубрицкая
1
комментарий
0
читателей
Полный профиль
Светлана Зубрицкая - Нужно убрать пробелы между строк и заменить кавычки на вот такие "
#SEOnews14: мы празднуем – вы получаете подарки!
Анна Макарова
358
комментариев
0
читателей
Полный профиль
Анна Макарова - Гость, добрый день! С победителями мы связывались сразу после розыгрыша. Если мы вам не написали, значит, ваш номер не выпал. Но не расстраивайтесь, у нас обязательно будут новые розыгрыши!
Как ускорить сайт на WordPress, чтобы получить 100/100 в Google PageSpeed Insights
Георгий
1
комментарий
0
читателей
Полный профиль
Георгий - Все что рекомендуется в этой статье есть у w.tools. Ни разу не пожалел что подключился. Своя CDN сеть, кеш статики и динамики, минификация js\css и кешируемого html, оптимизация всех типов картинок и еще куча всего полезного. Сайт летает и я не знаю проблем. Могу рекомендовать от души.
Война с дубликатами. Как нужно и как не нужно канонизировать URL
Ann Yaroshenko
5
комментариев
0
читателей
Полный профиль
Ann Yaroshenko - Дмитрий, добрый день! Если вы проставили на странице с автозапчастями rel=canonical ( а я вижу в коде, что не проставили) или в HTTP хедере, то бот, как правило: выберит ту страницу главной, которую вы указали в rel=canonical ссылке. Eсли же вы этого не сделали, то бот сам выберит оригинал (алгоритмы, по которым бот это делает, скрыты Googl-ом)
«Аудит, чтобы ты заплакала…», или Что делать, когда получил сторонний аудит сайта
Trydogolik
12
комментариев
0
читателей
Полный профиль
Trydogolik - Да. К сожалению рекламодатели и прочие владельцы сайтов оценивают работу количеством заказов. Как SEO, где результат это позиции, а рекламу где результат это целевой трафик, оценивать количеством конверсий на сайте? Не понятно. Все что в наших силах это рекомендовать владельцу сайта, но не править на свое усмотрение.
BDD 2019: Как перестать убивать время на сбор и обработку тонны данных для SEO-аудита
Feth
1
комментарий
0
читателей
Полный профиль
Feth - Тот момент, когда от статьи в интернете получаешь больше полезных знаний и навыков, чем от своего начальства. По статьям нетпиковцев можно учебник про SEO уже сшивать, ребята молодцы. Спасибо, что делитесь информацией.
Как вывести сайт в ТОП 10 Google в 2019 году
Анна Макарова
358
комментариев
0
читателей
Полный профиль
Анна Макарова - Сергей, в нашей отрасли много заимствований из английского, иногда с ними быстрее, проще .Но будем стараться ))
Как улучшить репутацию сайта недвижимости с помощью крауд-маркетинга
Евгений
2
комментария
0
читателей
Полный профиль
Евгений - а у вас какое впечатление от статьи?
Как я пытался купить CRM-систему, но мне ее поленились продать
Kristina
1
комментарий
0
читателей
Полный профиль
Kristina - Очень рекомендую CRM-систему польской фирмы Firmao. Все функции настраиваются в соответствии с индивидуальным потребностям компании! Советую попробовать бесплатную демо-версию, чтобы попробовать все необходимые функции, без лишних кнопок и траты дополнительных финансов! :) Сайт: firmao.ru/info
10 элементов сайта, которые гарантированно отпугнут посетителей
Андрей
2
комментария
0
читателей
Полный профиль
Андрей - Ну типа потому что клиентское seo больше для коммерции предназначено. Типа контентники и сами знают что делать. В коммерции можно тысячу причин найти чтобы поработать с сайтом, а с контентными такие фокусы уже не прокатят, поэтому и не пишут. Всё продвижение для контентников сеошники описывают в трех словах: скорость, качество, систематичность. А, ну ещё конечно же СЯ, как же я про него забыл (фундамент жеть!).
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
358
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
106
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
72
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!