Кейс: полный аудит сайта. Часть 1
- Работа по протоколу HTTPS и смена главного зеркала
- Канонизация основного адреса сайта
- Некорректная обработка ошибки 404
- Коррекция поведения сервера при обращении к адресам страниц без знака “/” в конце строки
- Скорость загрузки
- Переадресация в навигации по сайту
- Исправление «хлебных крошек»
- Микроразметка для страниц услуг
На прошедшей в конце марта конференции
В аудите мы приводим целый ряд необходимых рекомендаций, которые можно разбить на 3 основные части:
1. Рекомендации по улучшению индексации сайта главными русскоязычными поисковыми системами;
2. Рекомендации по текстовой коррекции сайта, направленные на повышение релевантности страниц поисковым запросам из семантического ядра;
3. Рекомендации по эргономике сайта и его коммерческой составляющей.
Аудит достаточно объемный, поэтому мы решили рассказать о его результатах в двух статьях. В первой мы расскажем об улучшении индексации и рассмотрим наиболее критичные ошибки, во второй поговорим про текстовое наполнение и эргономику.
Прежде чем приступить к анализу оптимизации сайта, мы изучили его тематику и конкуренцию в соответствующей поисковой нише. Мы сформировали семантическое ядро из 1233 запросов, общая популярность которых — 418 753 показа в месяц (по данным сервиса Seorate.ru на апрель 2016 года). В тематическом рейтинге сайтов по количеству эффективных показов, построенном по набору релевантных запросов,
Источник: SeoRate.ru; анализ «Ашманов и партнеры»
Эффективные показы зависят от популярности поисковых запросов, определяющих данную тематику (совокупный спрос) и от позиций, занимаемых сайтом в результатах поиска.
На момент проведения измерений общее число эффективных показов сайта по ядру по данным SeoRate.ru (регион – Москва) составило 1942, тогда как у одного из лидеров рейтинга
Видимость сайта рассчитывается как отношение числа эффективных показов сайта к общему числу поисков по заданным запросам. Увеличение видимости — одна из основных предпосылок увеличения посещаемости сайта.
Сайт крайне редко встречается на первых страницах поисковой выдачи по запросам тематики «Обучение» и на фоне конкурентов выглядит слабо. Это обусловлено недостаточным уровнем текущей оптимизации ресурса.
Поисковый трафик сейчас — основной источник посетителей и составляет 63%. Критичные ошибки в оптимизации не позволяют сайту получать тематический трафик, именно поэтому очень важно реализовать рекомендации, о которых мы говорим в статье.
Теперь детально рассмотрим необходимые исправления.
Работа по протоколу HTTPS и смена главного зеркала
В первую очередь мы столкнулись с тем, что сайт
С учетом конкретной ситуации мы рекомендуем следующую последовательность шагов:
1. Файл robots.txt на обоих сайтах необходимо привести к единообразию. Файл
Host: https://unium.ru
Sitemap: https://unium.ru/sitemap.xml
2. Указать новое главное зеркало с протоколом HTTPS в Яндекс.Вебмастере.
3. После изменения главного зеркала в Яндекс.Вебмастере необходимо настроить постраничные серверные 301 редиректы для всех страниц сайта: со старых адресов (HTTP) на новые адреса (HTTPS).
4. После настройки 301 редиректов отправить с целевого сайта (с HTTPS) в Google Search Console две XML-карты сайта, содержащие старые и новые URL. Для текущей версии карту требуется создать (она может быть доступна по адресу
Важно!
С момента перехода на протокол HTTPS любые данные, которые посетители передают сайту (логин с паролем, информация для регистрации и т.п.), будут проходить через шифрованную систему. Это обязательно будет учтено поисковыми системами и может увеличить доверие к сайту со стороны его посетителей.
В процессе смены главного зеркала может произойти временное снижение позиций. Это связано с обновлением адресов страниц сайта в поисковой выдаче. Тем не менее, это необходимые доработки, которые окажут существенное влияние на позиции сайта в поисковых выдачах.
Помимо страниц с разными протоколами мы обнаружили и иные источники дублей, как, например, страница
Одновременно с этим, ряд страниц, не обладающих ценными свойствами, был допущены к индексации. Среди них —
Такие ошибки можно устранить, разместив корректные указания для поисковых систем в файле unium.ru/robots.txt.
Таким образом, обновленный файл robots.txt по адресам
User-agent: *
Disallow: /*.swf
Disallow: /*?utm_source=*
Disallow: /_backup/
Disallow: /auth/
Disallow: /bitrix/
Disallow: /bitrix_personal/
Disallow: /*search
Disallow: /contacts/$
Disallow: /developers/
Disallow: /diary/
Disallow: /e-diary/
Disallow: /images/
Disallow: /photo/
Disallow: /upload/
Disallow: /*register=yes
Disallow: /*index.php
Disallow: /*PAGE_NAME=*
Disallow: /teacher/*PAGEN_2=*
Disallow: /teacher/*PAGEN_3=*
Disallow: /teacher/*PAGEN_4=*
Disallow: /teacher/*PAGEN_5=*
Disallow: /teacher/*PAGEN_6=*
Disallow: /teacher/*PAGEN_7=*
Disallow: /teacher/*PAGEN_8=*
Disallow: /teacher/*PAGEN_9=*
Disallow: /teacher/*PAGEN_10=*
Disallow: /*SHOWALL_*
Disallow: /*&ELEMENT_ID=*
Disallow: /*year=
Disallow: /*auth.php
Disallow: /promo/result
Disallow: /*request
Disallow: /*category=
Allow: /*.js
Allow: /*.css
Host: https://unium.ru
Sitemap: https://unium.ru/sitemap.xml
Канонизация основного адреса сайта
На данный момент со страниц сайта
После внедрения рекомендации по смене главного зеркала сайта для корректного индексирования страниц необходимо настроить 301-й редирект со всех страниц сайта
Чтобы настроить постоянный редирект со страниц сайта
RewriteCond %{HTTPS} off [OR]
RewriteCond %{HTTP_HOST} ^www.
RewriteRule (.*) unium.ru/$1 [L,R=301]
Точный вид серверных директив зависит от настроек конкретного сервера.
Некорректная обработка ошибки 404
Сайт некорректно выдает ошибку 404 Not Found при запросе ряда несуществующих страниц. В результате неправильной обработки ошибки 404 в индексе поисковых систем образуются такие страницы, как
Они отдают код ответа сервера 200 ОК, говорящий поисковому роботу о том, что страница существует.
Такое поведение сервера приводит к тому, что индекс поисковиков замусоривается большим количеством ошибочных страниц, а поисковый робот распознает их как верные и существующие.
Необходимо поменять настройки сервера, чтобы в ответ на запросы с неверными или устаревшими значениями параметров он отвечал кодом 404 Not Found. Содержимое страниц можно оставить как есть, поскольку код ответа в HTTP-заголовке имеет первостепенное значение для поискового робота.
Коррекция поведения сервера при обращении к адресам страниц без знака “/” в конце строки
Сейчас большинство страниц в ссылочной структуре содержат в конце строки адреса знак “/”, например:
Тем не менее, в некоторых URL знак “/” в конце пропущен, например:
Поиск «Яндекса» легко различает подобные случаи и фильтрует дубли такого типа еще на стадии скачивания страниц роботом. Поиск Google, наоборот, все еще продолжает вносить такие URL в «дополнительный индекс», что плохо сказывается на оценке сайта.
Эту проблему можно решить настройкой постоянных серверных редиректов с кодом ответа 301 для всех страниц, к которым обратились с ошибкой в адресе (в нашем случае это html-страницы с пропущенным знаком “/” в конце строки). Например, обращаемся к адресу
Сейчас программное обеспечение на сайте, отвечающее за обработку страниц HTTP, проводит описанную выше процедуру полностью корректно:
Однако при обращении к страницам без знака “/” в конце строки, расположенных по защищенному протоколу HTTPS (на который мы рекомендуем полностью перевести работу сайта), процедура перенаправления проводится с ошибками:
На примере выше страница
Такое поведение может привести к появлению ошибок индексации сайта и плохо сказаться на продвижении.
Чтобы избежать проблем, на сервере потребуется организовать 301 редирект: с URL без знака “/” в конце строки на URL по умолчанию, то есть со знаком “/” для страниц, доступных расположенных по защищенному протоколу HTTPS.
Например, при вводе
Скорость загрузки
В своих рекомендациях мы также обращаем особое внимание на скорость загрузки десктопной и мобильной версии сайта. По данным сервиса
Скорость загрузки — один из значимых критериев как при использовании пользователями, так и при ранжировании сайта в поисковых системах. Низкая скорость загрузки напрямую влияет на конверсию, так как большинство пользователей не будет пользоваться медленным сайтом.
Также можно воспользоваться рекомендациями сервиса
Сейчас мы видим цифру 11/100 около заголовка «Рекомендации», что является критично низким значением: чем ближе первая цифра к 100, тем лучше скорость загрузки сайта с точки зрения поисковой системы Google. Оптимально – от 80.
Для нашего примера рекомендуется обязательно:
- Оптимизировать изображения.
- Удалить из верхней части страницы код JavaScript и CSS, блокирующий отображение.
Исправить по возможности:
- Использовать кеш браузера.
- Оптимизировать видимое содержимое.
- Сократить JavaScript.
Проверка скорости загрузки внутренней страницы сайта с мобильных устройств показала значение 10/100, что тоже является недопустимым результатом.
Переадресация в навигации по сайту
Мы нашли несколько некорректных редиректов с кодом ответа сервера 301 Moved Permanently. Это может привести к снижению скорости загрузки и неоптимальному распределению ссылочной массы. В нашем случае ссылки через редиректы ведут на страницы с указанием порта в URL. Поисковые системы могут воспринять такие ссылки как дубли.
Исправление «хлебных крошек»
«Хлебные крошки» на сайте
Пример со страницы
«Крошка» «Английский язык» содержит неправильный URL -
«Хлебные крошки» на странице
Не учтен раздел
Аналогичная проблема наблюдается на всех основных подразделах курсов.
На страницах раздела «Новости» в «крошки» не включена последняя страница (она не должна быть оформлена, как ссылка, но присутствовать должна). Пример «хлебных крошек» для страницы
Отметим, что последняя «крошка» не должна быть оформлена ссылкой. Иначе получается, что страница ссылается на саму себя.
Таким образом, нужно внести следующие правки:
1. Включить в «хлебные крошки» полный путь до раздела.
2. Заменить некорректные URL с вхождением “extranet” на правильные.
3. Убрать атрибут href с последней «крошки».
После того, как «крошки» будут откорректированы, следует разметить их согласно инструкции:
Рассмотрим разметку на примере страницы
Мы имеем следующую навигационную цепочку:
Следует обернуть каждый элемент цепочки навигации в блок (например, div) с атрибутами itemscope itemtype=
- itemscope означает, что данный блок описывает элемент;
- itemtype обозначает тип элемента (в нашем варианте – элемент навигации).
Для ссылки добавляем атрибут itemprop="url". Он указывает разметке, что это ссылка. В блок с названием ссылки добавляем атрибут itemprop="title".
Для страницы
Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой
-
Неплохой аудит. Скажите, что означает "Внедрение псевдостатических адресов"?
Кстати, в robots.txt необязательно использовать * в конце.-
Для корректной индексации в поисковых системах мы рекомендовали создать «псевдостатическую» адресацию для страниц пагинации на сайте, исключив из URL’ов все специальные символы, такие как «?», «=», «&» и др.Например, для страницы unium.ru/teacher/?PAGEN_1=2 URL может быть следующим: unium.ru/teacher/page-2/.
-