×

Статус и заголовки ответа сервера: что это и как проверить

Россия +7 (495) 139-20-33
Шрифт:
0 2888

Люди получают сайты в виде картинки в браузере, а поисковые роботы – HTML-файлы с определенной зашифрованной информацией. Для обычного пользователя это просто набор символов, а для робота это четкая инструкция к сканированию данных. Из статьи узнаете, что содержится в ответе сервера и на какие элементы нужно в первую очередь обращать внимание для успешного продвижения сайта.

Что включает ответ сервера

Ответ сервера может выглядеть вот таким образом:

HTTP/1.1 200 OK

Date: Mon, 14 Feb 2022 10:39:57 GMT

Server: Apache/2.2.15 (CentOS)

Content-Type: text/html; charset=utf-8

Content-Length: 35171

Last-Modified: Mon, 14 Feb 2022 00:39:57 GMT

Connection: close

Expires: Mon, 21 Feb 2022 00:39:57 GMT

Cache-Control: max-age=3600

В этом ответе содержится статус и заголовки. Разберемся подробнее с каждой строкой.

Статус (код) ответа сервера

Это информация в первой строке. В нашем примере:

HTTP/1.1 200 OK

Коды статусов – это последовательности из трех чисел с небольшим текстовым пояснением. Данные в коде ответа влияют на то, как поисковый робот или браузер будет обрабатывать содержимое вашей страницы. Все коды ответа сервера объединяются в 5 групп или классов состояния, которые определяются по первой цифре из трех. Рассмотрим каждый класс.

1XX – это временные информационные коды. Такой ответ означает, что запрос принят и находится в обработке. Например, код 102 Processing означает, что сервер получил запрос и обрабатывает его.

2XX. Этот класс означает, что действие, запрошенное клиентом (роботом или браузером), было успешно принято в обработку.

Самый популярный код этого класса – 200 ОК. Если сервер отдает именно его, можете не беспокоиться – обмен информацией между сервером и роботом прошел успешно.

3XX. Эти коды сообщают браузеру или роботу о том, что ресурс был перемещен, и сервер отвечает списком доступных альтернативных вариантов. Самый популярный из этого диапазона – 301 редирект. Он означает, что страница по данному адресу недоступна – она была постоянно перемещена на новый адрес. Такое может произойти, например, в том случае, когда вы перенесли контент на новую страницу, и по старой ссылке он более не доступен. Это положительный ответ для робота, и он не приведет к ошибкам сканирования.

О том, в каких случаях стоит использовать 301 редирект и как его настроить, читайте в этом материале.

4XX. Эти коды предназначены для указания ошибок со стороны клиента либо на то, что запрашиваемой страницы или документа не существует.

Самая известная ошибка – 404. Она означает, что страница была удалена.

В этом нет ничего критичного, но очень важно при такой ошибке оформить несуществующую страницу должным образом: реализовать в общем дизайне сайта и сообщить пользователю, что контент не найден. Предложить ссылку на главную, каталог товаров, контакты или другую альтернативную страницу сайта. О том, как правильно оформить страницу ошибки 404, читайте здесь.

Ошибка 404

Пример страницы ошибки 404 со ссылкой на главную

5ХХ. Эти статусы означают неудачное выполнение запроса по вине сервера. Наверняка вы видели на экране монитора или смартфона такие ответы как 502 Bad Gateway или 503 Server Unavailablе. Это тревожные сигналы о том, что по техническим причинам сервер не может отдать запрашиваемый контент: либо сервер упал, либо произошли ошибки в работе баз данных, либо случились еще какие-то сбои, временные или постоянные.

Код ответа 500

Пример страницы ошибки 500 на сайте Тинькофф банка

Для продвигаемых страниц, которые должны попадать в результаты поисковой выдачи, важно, чтобы отдавался корректный код ответа сервера – 200 ОК. При перемещении страницы на другой адрес – 301 Moved Permanently. Тогда страницы будут доступны поисковым роботам и проблем со сканированием и индексированием контента не возникнет. Запомните эти коды ответов и в техническом аудите обращайте на них внимание.

Заголовки ответа сервера

Все остальные строки в ответе сервера, кроме первой, называются заголовками. Это команды, которыми обмениваются друг с другом сервер и клиент, например, поисковый робот. Заголовки используются для согласования метода, протокола, кодировки, языка и многих других параметров.

Вернемся к нашему примеру и посмотрим, какую информацию содержат заголовки:

Date: (дата осуществления запроса) Mon, 14 Feb 2022 10:39:57 GMT

Server: (имя и версия веб-сервера) Apache/2.2.15 (CentOS)

Content-Type: (тип передаваемых данных и кодировка ответа) text/html; charset=utf-8 (это простой текст в кодировке utf-8)

Content-Length: (длина контента в байтах) 35171

Last-Modified: (дата последнего изменения страницы) Mon, 14 Feb 2022 00:39:57 GMT(эта страница последний раз изменялась в такой-то день, в такое-то время)

Connection: (тип соединения) close (закрыто для передачи данных)

Expires: (до этой даты можно хранить страницу или ресурс в кеше) Mon, 21 Feb 2022 00:39:57 GMT

Cache-Control: (настройка времени кеширования страницы браузером и разрешение на кеширование) max-age=3600 (страница может храниться в кеше в течение часа)

Данных в заголовках немало – и это еще не все варианты! Вы можете изучить полный список и убедиться, насколько он огромен.

Самыми значимыми с точки зрения корректной отдачи контента поисковому роботу будут заголовки Content-Type и Last-Modified.

В Content-Type обращаем внимание на то, чтобы кодировка документа совпадала с кодировкой сервера. Если стоит utf-8, так должно быть и в документе, и на сервере, чтобы контент распознался корректно и не вышло сбоев в его сканировании роботом.

Last-Modified – важный параметр, который запрашивает робот, чтобы проверить «свежесть» документа. Робот экономит свои ресурсы и не будет обходить повторно страницы, если они не обновлялись с момента последней проверки. Запрашивая дату Last-Modified у сервера и получая соответствующую информацию, робот принимает решение, уйти со страницы (если она не обновлялась) или просканировать новый контент (если он изменился, о чем говорит дата его изменения). Этот запрос оформляется командой If-Modified-Since, то есть «если были изменения с такой-то даты», и если они были, то будет возвращаться ответ сервера 200 ОК. В этом случае робот переиндексирует новую страницу. Пример – на скриншоте ниже:

Проверка ответа сервера

Если изменений не было (параметр Last-Modified не менялся), будет отображаться ответ 304 Not Modified и робот повторно сканировать страницу не будет.

Поэтому, если вы обновляете контент, не забывайте проверять, корректно ли отрабатывается заголовок Last-Modified, устанавливается ли свежая дата. Таким образом, вместо повторной перезагрузки страницы и обновления кеша, робот экономит трафик, а сервер отдает меньше данных. Выходит обоюдная экономия.

Как проверить код ответа сервера

Проверить ответ сервера можно самостоятельно или при помощи специальных сервисов.

Проверка кода ответа сервера вручную

Зайдите на сайт через браузер Chrome и откройте консоль клавишей F12 или сочетанием клавиш Ctrl+Shift+Alt. Вам понадобится вкладка Network. Нажмите Ctrl+R. Коды ответа страниц будут в столбце Status:

Проверка ответа сервера

10+ инструментов проверки кода ответа сервера

Расскажем о популярных сервисах, при помощи которых можно быстро проверить ответ сервера.

Bertal. Кроме HTTP-заголовков страниц сервис позволяет просматривать HTML-код страниц. Работает с протоколами http, https и ftp. Поддерживает боты Яндекса, Google, Bing, Yahoo и Baidu, популярные браузеры.

Сколько стоит: бесплатно.

Bertal

PR-CY. Многофункциональный сервис для SEO-аудита, мониторинга позиций, анализа контента сайта и других задач вебмастера. В том числе, с помощью него можно проверить и коды ответа. Работает с поисковыми ботами Яндекса и Google. В большинстве инструментов кроме собственно проверки есть еще и рекомендации по оптимизации страницы.

Сколько стоит: есть бесплатный тариф для экспресс-аудита, для доступа к функционалу без ограничений нужно купить подписку от 990 ₽/мес.

PR-CY

Checkmy. Проверяет коды и заголовки ответа сервера. Кроме этого, проверяет исходный код, показывает размер и скорость загрузки страницы, проверяет контент на сжатие, и это далеко не весь функционал. Из плюсов – работает с кириллическими доменами и есть версия для мобильных устройств.

Сколько стоит: бесплатно.

Checkmy

Sitechecker. Подходит для полного аудита и мониторинга сайта. Кроме кодов ответа подсчитывает вес HTML-кода страницы, проверяет страницы с кодом 404 и показывает индексацию поисковыми системами.

Сколько стоит: проверить коды можно бесплатно, но мониторинг сайта и другие важные инструменты будут доступны только по подписке. Она стартует от $29/мес.

Sitechecker

Яндекс Вебмастер. В нем есть одноименный инструмент для проверки ответа сервера, который покажет, доступна ли страница для поисковых ботов Яндекса. Важно понимать, что ответ в Вебмастере может не совпадать с тем, который получит поисковый робот, так как инструмент работает через другой IP-адрес. Дополнительно можно узнать срок действия SSL-сертификата. Вебмастер проверяет страницы размером до 10 Мб.

Сколько стоит: бесплатно.

Яндекс Вебмастер

Converseo. Подходит как для проверки HTTP-заголовка одного URL, так и для массовой проверки URL. Готовый отчет можно скачать в формате CSV. Интерфейс минималистичный.

Сколько стоит: бесплатно.

Converseo

Coolakov. Функционал схож с Converseo. Можно массово проверить коды ответов до 500 URL. Дополнительные функции: проверка доступности сайта, измерение скорости загрузки, проверка ИКС сайта, проверка орфографии.

Сколько стоит: бесплатно.

Coolakov

Headmasterseo. Программа для Windows и Mac, которая отслеживает коды состояния, редиректы и заголовки ответов. Одновременно можно бесплатно проверить до 500 ссылок. Работает с прокси. Готовый отчет экспортируется в CSV.

Сколько стоит: бесплатно до 500 URL, далее тарифы стартуют от $50 и зависят от количества проверяемых URL. Неограниченное количество обойдется в $150.

Headmasterseo

Плагины для проверки кода ответа сервера

Для проверки кода ответа можно использовать и бесплатные плагины для Google Chrome.

Redirect Path Link – поможет в SEO-аудите сайта и проверит HTTP-заголовки. Работает только с кодами ответа сервера 3XX.

Robots Exclusion Checker – найдет проблемы в оптимизации и индексации сайта, сделает SEO-аудит. Работает во всеми классами кодов и поисковыми роботами Google, Bing и Yahoo.

SEO META in 1 CLICK – помогает проверить коды ответа сервера, проанализировать заголовки h1-h6, проверить alt изображений и многое другое.

Website SEO Checker – бесплатный плагин от Sitechecker. В нем есть тот же набор функций, что и в сервисе: аудит, мониторинг, анализ, проверка кодов ответа и др.

Более подробная информация о кодах ответа сервера с расшифровкой самых популярных в своих классах, а также обзор инструментов для проверки – в видео на канале PromoPult.

Если вы ограничены во времени или знаниях для проверки, анализа и последующей корректной настройки технических параметров сайта, добавляйте ваш ресурс в модуль SEO PromoPult и закажите полный комплекс работ по оптимизации у специалистов системы. Успешного продвижения!

(Голосов: 2, Рейтинг: 5)
0
0

Есть о чем рассказать? Тогда присылайте свои материалы в редакцию.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
13 инструментов для SEO-специалиста, актуальных в 2022 году
Саша
8
комментариев
0
читателей
Полный профиль
Саша - кажись какой-то британец
Продуктовый подход в SEO: новая эпоха поисковой оптимизации
Борис
1
комментарий
0
читателей
Полный профиль
Борис - Почитал и спич очень близок к тому, что гугловоды говорят у себя на курсере. К комменту ниже: инклюзивность, доступность - это часть маркетинга и seo становится. Удивился даже, что в снг о таком слышали)))))
Скоринг запросов: почему он необходим при сборе семантического ядра
Илья Горбачев
3
комментария
0
читателей
Полный профиль
Илья Горбачев - Сбор сезонности в последней версии находится на вкладке "Парсинг" и вызывается кликом по иконке с графиком на черном фоне. Только он собирает общую частоту, поэтому лучше собирать данные с фраз (маркеров), которые не пересекаются в реальных запросах.
Альманах фатальных ошибок b2b-сайта: как владельцы бизнеса обрекают сайты на бесславное существование. Часть первая
Сергей Ерофеев
3
комментария
0
читателей
Полный профиль
Сергей Ерофеев - Спасибо за комментарий! Вы правы, если за CMS следит заинтересованный профессионал - риски минимальны. Но мы же с вами понимаем, что: а) Не каждый разработчик делает все, как "для себя". б) После создания сайта разработчик редко остается на проекте в) Часто разработчик не является маркетологом. В этом случае принцип "функционал работает и этого достаточно" может быть на первом месте. Мы тоже видели большое количество хороших и качественных проектов на бесплатных CMS, но проблемных проектов мы видели сильно больше. Просто статистика.
Почему не стоит отказываться от SEO на этапе разработки
Максимус
3
комментария
0
читателей
Полный профиль
Максимус - Я уже сделал и сегодня в первый класс отвёл!
Как автоматизировать мессенджеры для бизнеса в CRM-системе
Алиналина
1
комментарий
0
читателей
Полный профиль
Алиналина - Кстати да. Но мы зарегались, CRMка реально интересная
Санкции поисковых систем: как узнать, что сайт попал под фильтры. Обзор главных инструментов
Volodyka Filipov
6
комментариев
0
читателей
Полный профиль
Volodyka Filipov - Нужно не крутить, а по честному развивать)))
Белые и серые методы продвижения. Тренды 2023
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Я тоже заметил. Если встать в 5 утра и шёпотом сказать 3 раза Ажгибесов. Сайт в гугле растёт.
Кейс MediaNation: увеличили еженедельный трафик автомобильной компании на 50% за год и вышли в топ поиска по 300 запросам
Игорь Скляр
1
комментарий
0
читателей
Полный профиль
Игорь Скляр - Действительно, изначально рост был именно по информационным запросам. Но рост позиций и трафика по информационным запросам положительно повлиял и на связанные позиции по коммерческим запросам и сдвинул видимость с мёртвой точки
Как увеличить поток целевых заявок в нише с высоким чеком? Контекстная реклама по продаже земли промназначения
Медиасфера
1
комментарий
0
читателей
Полный профиль
Медиасфера - Данный кейс написан для владельцев бизнеса и маркетологов, которые не на профессиональном уровне разбираются в контекстной рекламе.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
385
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
115
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
63
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!