Кейс: полный аудит сайта. Часть 1

Россия+7 (495) 960-65-87
Шрифт:
4 9440

На прошедшей в конце марта конференции eTarget компания «Ашманов и партнеры» разыграла поисковый аудит сайта. Победителем конкурса стала сеть центров дополнительного образования для школьников «Юниум» с сайтом unium.ru.

В аудите мы приводим целый ряд необходимых рекомендаций, которые можно разбить на 3 основные части:

1. Рекомендации по улучшению индексации сайта главными русскоязычными поисковыми системами;

2. Рекомендации по текстовой коррекции сайта, направленные на повышение релевантности страниц поисковым запросам из семантического ядра;

3. Рекомендации по эргономике сайта и его коммерческой составляющей.

Аудит достаточно объемный, поэтому мы решили рассказать о его результатах в двух статьях. В первой мы расскажем об улучшении индексации и рассмотрим наиболее критичные ошибки, во второй поговорим про текстовое наполнение и эргономику.

Прежде чем приступить к анализу оптимизации сайта, мы изучили его тематику и конкуренцию в соответствующей поисковой нише. Мы сформировали семантическое ядро из 1233 запросов, общая популярность которых — 418 753 показа в месяц (по данным сервиса Seorate.ru на апрель 2016 года). В тематическом рейтинге сайтов по количеству эффективных показов, построенном по набору релевантных запросов, www.unium.ru занимает лишь 45-ое место.

рейтинг сайтов.png

Источник: SeoRate.ru; анализ «Ашманов и партнеры»

Эффективные показы зависят от популярности поисковых запросов, определяющих данную тематику (совокупный спрос) и от позиций, занимаемых сайтом в результатах поиска.

На момент проведения измерений общее число эффективных показов сайта по ядру по данным SeoRate.ru (регион – Москва) составило 1942, тогда как у одного из лидеров рейтинга http://www.bkc.ru/ количество эффективных показов около 10114. Видимость сайта unium.ru составляет 2,93%.

Видимость сайта рассчитывается как отношение числа эффективных показов сайта к общему числу поисков по заданным запросам. Увеличение видимости — одна из основных предпосылок увеличения посещаемости сайта.

Сайт крайне редко встречается на первых страницах поисковой выдачи по запросам тематики «Обучение» и на фоне конкурентов выглядит слабо. Это обусловлено недостаточным уровнем текущей оптимизации ресурса.

Поисковый трафик сейчас — основной источник посетителей и составляет 63%. Критичные ошибки в оптимизации не позволяют сайту получать тематический трафик, именно поэтому очень важно реализовать рекомендации, о которых мы говорим в статье.

Теперь детально рассмотрим необходимые исправления.

Работа по протоколу HTTPS и смена главного зеркала

В первую очередь мы столкнулись с тем, что сайт www.unium.ru доступен сразу по двум протоколам – HTTP и HTTPS. Например, в индексе Google находятся страницы в обоих вариантах, что служит источником дублей и не позволяет корректно индексировать ресурс.

С учетом конкретной ситуации мы рекомендуем следующую последовательность шагов:

1. Файл robots.txt на обоих сайтах необходимо привести к единообразию. Файл https://unium.ru/robots.txt должен стать таким же, как по адресу http://unium.ru/robots.txt, однако в директиве Host файла robots.txt адрес сайта необходимо указать с HTTPS.

Host: https://unium.ru

Sitemap: https://unium.ru/sitemap.xml

2. Указать новое главное зеркало с протоколом HTTPS в Яндекс.Вебмастере.

переезд сайта.png

3. После изменения главного зеркала в Яндекс.Вебмастере необходимо настроить постраничные серверные 301 редиректы для всех страниц сайта: со старых адресов (HTTP) на новые адреса (HTTPS).

4. После настройки 301 редиректов отправить с целевого сайта (с HTTPS) в Google Search Console две XML-карты сайта, содержащие старые и новые URL. Для текущей версии карту требуется создать (она может быть доступна по адресу http://unium.ru/sitemap.xml), а для версии с HTTPS карта доступна по адресу https://unium.ru/sitemap.xml. Это поможет поисковым роботам Google обнаружить переадресацию со старых URL на новые URL и упростит перенос.

Важно!

С момента перехода на протокол HTTPS любые данные, которые посетители передают сайту (логин с паролем, информация для регистрации и т.п.), будут проходить через шифрованную систему. Это обязательно будет учтено поисковыми системами и может увеличить доверие к сайту со стороны его посетителей.

В процессе смены главного зеркала может произойти временное снижение позиций. Это связано с обновлением адресов страниц сайта в поисковой выдаче. Тем не менее, это необходимые доработки, которые окажут существенное влияние на позиции сайта в поисковых выдачах.

Помимо страниц с разными протоколами мы обнаружили и иные источники дублей, как, например, страница https://unium.ru/blogs/unium/?category=10, которые необходимо исключить из результатов выдачи поисковых систем.

Одновременно с этим, ряд страниц, не обладающих ценными свойствами, был допущены к индексации. Среди них — https://unium.ru/promo/result/

promoresult.png

Такие ошибки можно устранить, разместив корректные указания для поисковых систем в файле unium.ru/robots.txt.

Таким образом, обновленный файл robots.txt по адресам https://unium.ru/robots.txt и http://unium.ru/robots.txt с учетом правок, предложенных в аудите, должен выглядеть так:

User-agent: *

Disallow: /*.swf

Disallow: /*?utm_source=*

Disallow: /_backup/

Disallow: /auth/

Disallow: /bitrix/

Disallow: /bitrix_personal/

Disallow: /*search

Disallow: /contacts/$

Disallow: /developers/

Disallow: /diary/

Disallow: /e-diary/

Disallow: /images/

Disallow: /photo/

Disallow: /upload/

Disallow: /*register=yes

Disallow: /*index.php

Disallow: /*PAGE_NAME=*

Disallow: /teacher/*PAGEN_2=*

Disallow: /teacher/*PAGEN_3=*

Disallow: /teacher/*PAGEN_4=*

Disallow: /teacher/*PAGEN_5=*

Disallow: /teacher/*PAGEN_6=*

Disallow: /teacher/*PAGEN_7=*

Disallow: /teacher/*PAGEN_8=*

Disallow: /teacher/*PAGEN_9=*

Disallow: /teacher/*PAGEN_10=*

Disallow: /*SHOWALL_*

Disallow: /*&ELEMENT_ID=*

Disallow: /*year=

Disallow: /*auth.php

Disallow: /promo/result

Disallow: /*request

Disallow: /*category=

Allow: /*.js

Allow: /*.css

Host: https://unium.ru

Sitemap: https://unium.ru/sitemap.xml

Канонизация основного адреса сайта

На данный момент со страниц сайта https://www.unium.ru/ настроены 301 редиректы на страницы HTTP-сайта:

редиректы.png

После внедрения рекомендации по смене главного зеркала сайта для корректного индексирования страниц необходимо настроить 301-й редирект со всех страниц сайта https://www.unium.ru/ с www на url-адреса без www. Например, со страницы https://www.unium.ru/ должен быть настроен 301 редирект на страницу https://unium.ru/, со страницы https://www.unium.ru/kursy/po_matematike/ — на https://unium.ru/kursy/po_matematike/ и так далее.

Чтобы настроить постоянный редирект со страниц сайта https://www.unium.ru/ (должен быть Status:HTTP/1.1 301 Found) на страницы https://unium.ru/ (в выдаче поисковых систем находятся страницы без www), необходимо скорректировать файл .htaccess в корневой папке https://www.unium.ru/:

RewriteCond %{HTTPS} off [OR]

RewriteCond %{HTTP_HOST} ^www.

RewriteRule (.*) unium.ru/$1 [L,R=301]

Точный вид серверных директив зависит от настроек конкретного сервера.

Некорректная обработка ошибки 404

Сайт некорректно выдает ошибку 404 Not Found при запросе ряда несуществующих страниц. В результате неправильной обработки ошибки 404 в индексе поисковых систем образуются такие страницы, как https://unium.ru/opinions/?!=&PAGEN_1=68 и https://unium.ru/teacher/?subject=401.

Они отдают код ответа сервера 200 ОК, говорящий поисковому роботу о том, что страница существует.

200.png

Такое поведение сервера приводит к тому, что индекс поисковиков замусоривается большим количеством ошибочных страниц, а поисковый робот распознает их как верные и существующие.

Необходимо поменять настройки сервера, чтобы в ответ на запросы с неверными или устаревшими значениями параметров он отвечал кодом 404 Not Found. Содержимое страниц можно оставить как есть, поскольку код ответа в HTTP-заголовке имеет первостепенное значение для поискового робота.

Коррекция поведения сервера при обращении к адресам страниц без знака “/” в конце строки

Сейчас большинство страниц в ссылочной структуре содержат в конце строки адреса знак “/”, например:

http://unium.ru/kursy/francuzskij_yazyk/

http://unium.ru/kursy/po_himii/

http://unium.ru/kursy/fotografii/dlja_nachinajushhih/

Тем не менее, в некоторых URL знак “/” в конце пропущен, например:

http://unium.ru/contests/bgame_spring_2011

http://unium.ru/e-diary

http://unium.ru/diary

Поиск «Яндекса» легко различает подобные случаи и фильтрует дубли такого типа еще на стадии скачивания страниц роботом. Поиск Google, наоборот, все еще продолжает вносить такие URL в «дополнительный индекс», что плохо сказывается на оценке сайта.

Эту проблему можно решить настройкой постоянных серверных редиректов с кодом ответа 301 для всех страниц, к которым обратились с ошибкой в адресе (в нашем случае это html-страницы с пропущенным знаком “/” в конце строки). Например, обращаемся к адресу http://unium.ru/kursy/po_matematike → получаем с сервера код ответа 301 (постоянно находится по новому адресу) и указание на страницу со знаком “/” → http://unium.ru/kursy/po_matematike/.

Сейчас программное обеспечение на сайте, отвечающее за обработку страниц HTTP, проводит описанную выше процедуру полностью корректно:

проверка.png

Однако при обращении к страницам без знака “/” в конце строки, расположенных по защищенному протоколу HTTPS (на который мы рекомендуем полностью перевести работу сайта), процедура перенаправления проводится с ошибками:

301.png

На примере выше страница https://unium.ru/kursy/po_matematike была перенаправлена на неактуальный адрес http://unium.ru:443/kursy/po_matematike/ с незащищенным протоколом и портом 443, закрепленным за HTTPS.

Такое поведение может привести к появлению ошибок индексации сайта и плохо сказаться на продвижении.

Чтобы избежать проблем, на сервере потребуется организовать 301 редирект: с URL без знака “/” в конце строки на URL по умолчанию, то есть со знаком “/” для страниц, доступных расположенных по защищенному протоколу HTTPS.

Например, при вводе https://unium.ru/kursy/po_matematike мы получим от сервера код ответа 301 и указание на страницу со знаком “/” в конце строки: https://unium.ru/kursy/po_matematike/.

Скорость загрузки

В своих рекомендациях мы также обращаем особое внимание на скорость загрузки десктопной и мобильной версии сайта. По данным сервиса https://testmysite.thinkwithgoogle.com/, скорость загрузки страниц сайта, например, https://unium.ru/kursy/francuzskij_yazyk/ не соответствует требованиям Google и имеет показатель 39 и 100 возможных:

site speed.png

Скорость загрузки — один из значимых критериев как при использовании пользователями, так и при ранжировании сайта в поисковых системах. Низкая скорость загрузки напрямую влияет на конверсию, так как большинство пользователей не будет пользоваться медленным сайтом.

Также можно воспользоваться рекомендациями сервиса PageSpeed Insights от Google. Например, проверим внутреннюю страницу https://unium.ru/kursy/podgotovka_k_gia/:

pagespeed.png

Сейчас мы видим цифру 11/100 около заголовка «Рекомендации», что является критично низким значением: чем ближе первая цифра к 100, тем лучше скорость загрузки сайта с точки зрения поисковой системы Google. Оптимально – от 80.

Для нашего примера рекомендуется обязательно:

  • Оптимизировать изображения.
  • Удалить из верхней части страницы код JavaScript и CSS, блокирующий отображение.

Исправить по возможности:

  • Использовать кеш браузера.
  • Оптимизировать видимое содержимое.
  • Сократить JavaScript.

Проверка скорости загрузки внутренней страницы сайта с мобильных устройств показала значение 10/100, что тоже является недопустимым результатом.

Переадресация в навигации по сайту

Мы нашли несколько некорректных редиректов с кодом ответа сервера 301 Moved Permanently. Это может привести к снижению скорости загрузки и неоптимальному распределению ссылочной массы. В нашем случае ссылки через редиректы ведут на страницы с указанием порта в URL. Поисковые системы могут воспринять такие ссылки как дубли.

дубли.png

Исправление «хлебных крошек»

«Хлебные крошки» на сайте https://unium.ru/ организованы некорректно: они либо неполные, либо содержат неправильный URL.

Пример со страницы https://unium.ru/kursy/anglijskogo_yazyka/5_klass/:

пример.png

«Крошка» «Английский язык» содержит неправильный URL - https://unium.ru/extranet/kursy/anglijskogo_yazyka/ (должен быть https://unium.ru/kursy/anglijskogo_yazyka/).

«Хлебные крошки» на странице https://unium.ru/kursy/skorochtenie_i_razvitie_pamyati/ неполные:

хлебные крошки.png

Не учтен раздел https://unium.ru/kursy/razvivayuschie/. «Крошки» на странице должны выглядеть так:

Главная - КурсыРазвивающие - Развитие памяти и скорочтение

Аналогичная проблема наблюдается на всех основных подразделах курсов.

На страницах раздела «Новости» в «крошки» не включена последняя страница (она не должна быть оформлена, как ссылка, но присутствовать должна). Пример «хлебных крошек» для страницы https://unium.ru/news/detail.php?ID=322211:

Главная - Новости - Подведены итоги розыгрыша Iphone-6

Отметим, что последняя «крошка» не должна быть оформлена ссылкой. Иначе получается, что страница ссылается на саму себя.

Таким образом, нужно внести следующие правки:

1. Включить в «хлебные крошки» полный путь до раздела.

2. Заменить некорректные URL с вхождением “extranet” на правильные.

3. Убрать атрибут href с последней «крошки».

После того, как «крошки» будут откорректированы, следует разметить их согласно инструкции: https://developers.google.com/structured-data/breadcrumbs. Размечать HTML-код мы рекомендуем с помощью микроданных http://www.data-vocabulary.org/.

Рассмотрим разметку на примере страницы https://unium.ru/kursy/po_matematike/.

Мы имеем следующую навигационную цепочку:

Главная / Курсы / Математика

Следует обернуть каждый элемент цепочки навигации в блок (например, div) с атрибутами itemscope itemtype=http://data-vocabulary.org/Breadcrumb, где

  • itemscope означает, что данный блок описывает элемент;
  • itemtype обозначает тип элемента (в нашем варианте – элемент навигации).

Для ссылки добавляем атрибут itemprop="url". Он указывает разметке, что это ссылка. В блок с названием ссылки добавляем атрибут itemprop="title".

Для страницы https://unium.ru/kursy/po_matematike/ модернизируем блок ссылок для «хлебных крошек» (красным цветом выделено то, что необходимо добавить в HTML-код):

Проверить наш код можно в валидаторе микроразметки Google.

Микроразметка для страниц услуг

Поисковики хорошо относятся к микроразметке, и она станет дополнительным бонусом при ранжировании.

Мы рекомендуем инструкцию от «Яндекса»: https://yandex.ru/support/webmaster/supported-schemas/goods-prices.xml.

Сниппет без семантической разметки:

сниппет.png

Сниппет с использованием семантической разметки (показывается цена и описание товара):

сниппет с разметкой.png

На размеченных страницах должно быть одно или несколько предложений конкретной услуги. Если на странице представлены разные услуги, структурированные сниппеты не формируются.

Пример простейшей разметки для страницы https://unium.ru/kursy/fotografii/dlja_nachinajushhih/:

Основы цифровой фотографии

Размер группы 6-12 человек. Занятия по 120 минут в неделю. Всего 48 ак. часов

от 2200

RUB

Проверить микроразметку можно в валидаторе микроразметки «Яндекса»: https://webmaster.yandex.ru/microtest.xml

В этой статье мы рассмотрели наиболее критичные ошибки, обнаруженные на сайте www.unium.ru, их необходимо реализовать в первую очередь.

Перечень не вошедших в статью рекомендаций по улучшению индексации выглядит следующим образом:

  • Устранение «битых» ссылок
  • Дубли в коде
  • Настройка редиректов с https://ftk.edu.ru/
  • Корректировка содержимого карт сайта xml
  • Коррекция оформления внешних исходящих ссылок
  • Коррекция «хлебных крошек»
  • Спамные ссылки в комментариях
  • Использование микроразметки для страниц услуг
  • Разметка контактов с помощью формата hCard
  • Переработка раздела «Тесты»
  • Внутренняя перелинковка
  • Проверка удобства просмотра сайта на мобильных устройствах
  • Коррекция поведения сервера при обращении к адресам страниц указанным с ошибками в регистре
  • Добавление регионов через Яндекс.Каталог
  • Настройка If-Modified-Since и Last-Modified
  • Коррекция целей в Яндекс.Метрике
  • Внедрение «псевдостатических» адресов для страниц сайта
  • Оптимизация файлов формата, отличного от HTML

Мы хотим отметить, что оптимизация сайта должна соответствовать современным требованиям поисковых систем и при выполнении всего комплекса работ первые результаты можно будет увидеть уже через 1–3 месяца.

Помимо работ над технической частью, нам необходимо повысить релевантность сайта тем запросам, которые мы выбрали на первом этапе аудита. Страницы сайта должны максимально точно соответствовать требованиям пользователей и отвечать на их запросы. Кроме того, сайт должен быть удобен в использовании и эргономичен. Об этом мы поговорим во второй части статьи, которая будет опубликована уже совсем скоро.

Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Рамазан
    больше года назад
    Получил для себя много хорошего, Спасибо!
    -
    0
    +
    Ответить
  • Константин Сокол
    25
    комментариев
    0
    читателей
    Константин Сокол
    больше года назад
    Если пишите про микроразметку статей, пишите, какие данные вы там размечаете

    схема Product для интернет-магазинов.
    -
    0
    +
    Ответить
  • Сергей
    больше года назад
    Неплохой аудит. Скажите, что означает "Внедрение псевдостатических адресов"?
    Кстати, в robots.txt необязательно использовать * в конце.
    -
    0
    +
    Ответить
    • Катя Семибратова
      4
      комментария
      0
      читателей
      Катя Семибратова
      Сергей
      больше года назад
      Для корректной индексации в поисковых системах мы рекомендовали создать «псевдостатическую» адресацию для страниц пагинации на сайте, исключив из URL’ов все специальные символы, такие как «?», «=», «&» и др.Например, для страницы unium.ru/teacher/?PAGEN_1=2 URL может быть следующим: unium.ru/teacher/page-2/.

      -
      0
      +
      Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
«Баден-Баден»: как выйти из-под фильтра
Сергей Дембицкий «Sima-Land.ru»
15
комментариев
0
читателей
Полный профиль
Сергей Дембицкий «Sima-Land.ru» - Скрины Метрики показывать не буду, но мы (sima-land.ru - 1,5 млн. стр. в поиске Яндекс) в сентябре загремели под ББ, в разгар сезона и вышли из-под фильтра, спустя 50 дней, удалив все тексты с сайта: категории + карточки товаров (описание). Трафик с Google только вырос. Тексты возвращать собираемся, но процесс будет длительный, тексты будем теперь писать исключительно полезные, т.к. было больно :-))
Кейс: продвигаем бизнес по продаже пластиковых окон в Москве
Иван Стороженко
5
комментариев
0
читателей
Полный профиль
Иван Стороженко - 1. По началу вообще не использовали, сейчас уже много каналов используется. 2. Все может быть, в принципе сайты должны быть удобны для пользователя, для этого и нужна схожесть между собой. Честно говоря старались брать все самое интересное у конкурентов + подкреплять своими идеями.
«Прямая линия» с Александром Алаевым («АлаичЪ и Ко»): отвечаем на вопросы
Александр Алаев
13
комментариев
0
читателей
Полный профиль
Александр Алаев - Роман. Тут ответ очень простой. Каждый запрос можно четко разделить на коммерческий или некоммерческий. "Купить слона" и его длинные хвосты - коммерческий. "Как выбрать слона" и подобные - информационные. Вот под коммерческие ключи должны быть страницы услуг или каталога товаров. А под информационку - блог. Очень важно не путать их, тем более несоответствующая коммерческим факторам страниц просто не продвинется, то есть по запросу с "купить" блог никогда не будет показываться в выдаче, так же как и страница услуги/товаров не покажется по "как выбрать". Понятно примерно?
Инфографика: самые распространенные SEO-ошибки Рунета
Dmitro Grunt
2
комментария
0
читателей
Полный профиль
Dmitro Grunt - Кстати, у проектов которые продвигает Нетпик все тайтлы не более 65 символов? Или вы надеетесь что кто то послушает советов и отдаст вам часть трафика? :-)
7 причин не работать на биржах копирайтинга
Dasha Shkaruba
6
комментариев
0
читателей
Полный профиль
Dasha Shkaruba - Спасибо за мнение! Кстати, на бирже главреда прием анкет закрыт
Западные специалисты выяснили, как повысить позиции ресурса в выдаче Google
Serhii Diachenko
1
комментарий
0
читателей
Полный профиль
Serhii Diachenko - Спасибо Бернис!
Google.ru внесли в реестр запрещенных сайтов
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Гон, все работает и будет работать. Да и пусть банят, будет как с рутрекером.
Сердитый маркетолог: как вы сами хороните свой сайт, или 16 принципов, которые нужно усвоить заказчикам SEO
Анна Макарова
312
комментария
0
читателей
Полный профиль
Анна Макарова - Artem Sergeev, ваш комментарий удален за агрессивный настрой и безосновательные обвинения. Держите себя в руках!
День рождения SEOnews: 12 лет в эфире!
Анна Макарова
312
комментария
0
читателей
Полный профиль
Анна Макарова - Ура )
Как бесплатно публиковать гостевые посты без миралинкс и бирж ссылок
Александра Емец
1
комментарий
0
читателей
Полный профиль
Александра Емец - Некоторые сеошники почему-то забывают о таком эффективном бесплатном способе продвижения, как гостевые посты. Все внешнее продвижение заключается в закупке ссылок и раскрутке групп в соцсетях. Первое уже начало изживать себя, нужно искать что-то новое. Хорошо, что вы напомнили о гостевых постах. Будем пробовать и развиваться.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
312
Комментариев
262
Комментариев
228
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
97
Комментариев
97
Комментариев
95
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
55
Комментариев
53
Комментариев
52
Комментариев
49

Отправьте отзыв!
Отправьте отзыв!