×
Россия +7 (495) 139-20-33

Кейс: полный аудит сайта. Часть 1

Россия +7 (495) 139-20-33
Шрифт:
5 17968
Подпишитесь на нас в Telegram

На прошедшей в конце марта конференции eTarget компания «Ашманов и партнеры» разыграла поисковый аудит сайта. Победителем конкурса стала сеть центров дополнительного образования для школьников «Юниум» с сайтом unium.ru.

В аудите мы приводим целый ряд необходимых рекомендаций, которые можно разбить на 3 основные части:

1. Рекомендации по улучшению индексации сайта главными русскоязычными поисковыми системами;

2. Рекомендации по текстовой коррекции сайта, направленные на повышение релевантности страниц поисковым запросам из семантического ядра;

3. Рекомендации по эргономике сайта и его коммерческой составляющей.

Аудит достаточно объемный, поэтому мы решили рассказать о его результатах в двух статьях. В первой мы расскажем об улучшении индексации и рассмотрим наиболее критичные ошибки, во второй поговорим про текстовое наполнение и эргономику.

Прежде чем приступить к анализу оптимизации сайта, мы изучили его тематику и конкуренцию в соответствующей поисковой нише. Мы сформировали семантическое ядро из 1233 запросов, общая популярность которых — 418 753 показа в месяц (по данным сервиса Seorate.ru на апрель 2016 года). В тематическом рейтинге сайтов по количеству эффективных показов, построенном по набору релевантных запросов, www.unium.ru занимает лишь 45-ое место.

рейтинг сайтов.png

Источник: SeoRate.ru; анализ «Ашманов и партнеры»

Эффективные показы зависят от популярности поисковых запросов, определяющих данную тематику (совокупный спрос) и от позиций, занимаемых сайтом в результатах поиска.

На момент проведения измерений общее число эффективных показов сайта по ядру по данным SeoRate.ru (регион – Москва) составило 1942, тогда как у одного из лидеров рейтинга http://www.bkc.ru/ количество эффективных показов около 10114. Видимость сайта unium.ru составляет 2,93%.

Видимость сайта рассчитывается как отношение числа эффективных показов сайта к общему числу поисков по заданным запросам. Увеличение видимости — одна из основных предпосылок увеличения посещаемости сайта.

Сайт крайне редко встречается на первых страницах поисковой выдачи по запросам тематики «Обучение» и на фоне конкурентов выглядит слабо. Это обусловлено недостаточным уровнем текущей оптимизации ресурса.

Поисковый трафик сейчас — основной источник посетителей и составляет 63%. Критичные ошибки в оптимизации не позволяют сайту получать тематический трафик, именно поэтому очень важно реализовать рекомендации, о которых мы говорим в статье.

Теперь детально рассмотрим необходимые исправления.

Работа по протоколу HTTPS и смена главного зеркала

В первую очередь мы столкнулись с тем, что сайт www.unium.ru доступен сразу по двум протоколам – HTTP и HTTPS. Например, в индексе Google находятся страницы в обоих вариантах, что служит источником дублей и не позволяет корректно индексировать ресурс.

С учетом конкретной ситуации мы рекомендуем следующую последовательность шагов:

1. Файл robots.txt на обоих сайтах необходимо привести к единообразию. Файл https://unium.ru/robots.txt должен стать таким же, как по адресу http://unium.ru/robots.txt, однако в директиве Host файла robots.txt адрес сайта необходимо указать с HTTPS.

Host: https://unium.ru

Sitemap: https://unium.ru/sitemap.xml

2. Указать новое главное зеркало с протоколом HTTPS в Яндекс.Вебмастере.

переезд сайта.png

3. После изменения главного зеркала в Яндекс.Вебмастере необходимо настроить постраничные серверные 301 редиректы для всех страниц сайта: со старых адресов (HTTP) на новые адреса (HTTPS).

4. После настройки 301 редиректов отправить с целевого сайта (с HTTPS) в Google Search Console две XML-карты сайта, содержащие старые и новые URL. Для текущей версии карту требуется создать (она может быть доступна по адресу http://unium.ru/sitemap.xml), а для версии с HTTPS карта доступна по адресу https:\/\/unium\.ru\/sitemap\.xml. Это поможет поисковым роботам Google обнаружить переадресацию со старых URL на новые URL и упростит перенос.

Важно!

С момента перехода на протокол HTTPS любые данные, которые посетители передают сайту (логин с паролем, информация для регистрации и т.п.), будут проходить через шифрованную систему. Это обязательно будет учтено поисковыми системами и может увеличить доверие к сайту со стороны его посетителей.

В процессе смены главного зеркала может произойти временное снижение позиций. Это связано с обновлением адресов страниц сайта в поисковой выдаче. Тем не менее, это необходимые доработки, которые окажут существенное влияние на позиции сайта в поисковых выдачах.

Помимо страниц с разными протоколами мы обнаружили и иные источники дублей, как, например, страница https://unium.ru/blogs/unium/?category=10, которые необходимо исключить из результатов выдачи поисковых систем.

Одновременно с этим, ряд страниц, не обладающих ценными свойствами, был допущены к индексации. Среди них — https:\/\/unium\.ru\/promo\/result\/

promoresult.png

Такие ошибки можно устранить, разместив корректные указания для поисковых систем в файле unium.ru/robots.txt.

Таким образом, обновленный файл robots.txt по адресам https://unium.ru/robots.txt и http://unium.ru/robots.txt с учетом правок, предложенных в аудите, должен выглядеть так:

User-agent: *

Disallow: /*.swf

Disallow: /*?utm_source=*

Disallow: /_backup/

Disallow: /auth/

Disallow: /bitrix/

Disallow: /bitrix_personal/

Disallow: /*search

Disallow: /contacts/$

Disallow: /developers/

Disallow: /diary/

Disallow: /e-diary/

Disallow: /images/

Disallow: /photo/

Disallow: /upload/

Disallow: /*register=yes

Disallow: /*index.php

Disallow: /*PAGE_NAME=*

Disallow: /teacher/*PAGEN_2=*

Disallow: /teacher/*PAGEN_3=*

Disallow: /teacher/*PAGEN_4=*

Disallow: /teacher/*PAGEN_5=*

Disallow: /teacher/*PAGEN_6=*

Disallow: /teacher/*PAGEN_7=*

Disallow: /teacher/*PAGEN_8=*

Disallow: /teacher/*PAGEN_9=*

Disallow: /teacher/*PAGEN_10=*

Disallow: /*SHOWALL_*

Disallow: /*&ELEMENT_ID=*

Disallow: /*year=

Disallow: /*auth.php

Disallow: /promo/result

Disallow: /*request

Disallow: /*category=

Allow: /*.js

Allow: /*.css

Host: https://unium.ru

Sitemap: https://unium.ru/sitemap.xml

Канонизация основного адреса сайта

На данный момент со страниц сайта https://www.unium.ru/ настроены 301 редиректы на страницы HTTP-сайта:

редиректы.png

После внедрения рекомендации по смене главного зеркала сайта для корректного индексирования страниц необходимо настроить 301-й редирект со всех страниц сайта https://www.unium.ru/ с www на url-адреса без www. Например, со страницы https://www.unium.ru/ должен быть настроен 301 редирект на страницу https://unium.ru/, со страницы https://www.unium.ru/kursy/po_matematike/ — на https://unium.ru/kursy/po_matematike/ и так далее.

Чтобы настроить постоянный редирект со страниц сайта https://www.unium.ru/ (должен быть Status:HTTP/1.1 301 Found) на страницы https://unium.ru/ (в выдаче поисковых систем находятся страницы без www), необходимо скорректировать файл .htaccess в корневой папке https://www.unium.ru/:

RewriteCond %{HTTPS} off [OR]

RewriteCond %{HTTP_HOST} ^www.

RewriteRule (.*) unium.ru/$1 [L,R=301]

Точный вид серверных директив зависит от настроек конкретного сервера.

Некорректная обработка ошибки 404

Сайт некорректно выдает ошибку 404 Not Found при запросе ряда несуществующих страниц. В результате неправильной обработки ошибки 404 в индексе поисковых систем образуются такие страницы, как https://unium.ru/opinions/?!=&PAGEN_1=68 и https://unium.ru/teacher/?subject=401.

Они отдают код ответа сервера 200 ОК, говорящий поисковому роботу о том, что страница существует.

200.png

Такое поведение сервера приводит к тому, что индекс поисковиков замусоривается большим количеством ошибочных страниц, а поисковый робот распознает их как верные и существующие.

Необходимо поменять настройки сервера, чтобы в ответ на запросы с неверными или устаревшими значениями параметров он отвечал кодом 404 Not Found. Содержимое страниц можно оставить как есть, поскольку код ответа в HTTP-заголовке имеет первостепенное значение для поискового робота.

Коррекция поведения сервера при обращении к адресам страниц без знака “/” в конце строки

Сейчас большинство страниц в ссылочной структуре содержат в конце строки адреса знак “/”, например:

http://unium.ru/kursy/francuzskij_yazyk/

http://unium.ru/kursy/po_himii/

http://unium.ru/kursy/fotografii/dlja_nachinajushhih/

Тем не менее, в некоторых URL знак “/” в конце пропущен, например:

http://unium.ru/contests/bgame_spring_2011

http://unium.ru/e-diary

http://unium.ru/diary

Поиск «Яндекса» легко различает подобные случаи и фильтрует дубли такого типа еще на стадии скачивания страниц роботом. Поиск Google, наоборот, все еще продолжает вносить такие URL в «дополнительный индекс», что плохо сказывается на оценке сайта.

Эту проблему можно решить настройкой постоянных серверных редиректов с кодом ответа 301 для всех страниц, к которым обратились с ошибкой в адресе (в нашем случае это html-страницы с пропущенным знаком “/” в конце строки). Например, обращаемся к адресу http://unium.ru/kursy/po_matematike → получаем с сервера код ответа 301 (постоянно находится по новому адресу) и указание на страницу со знаком “/” → http://unium.ru/kursy/po_matematike/.

Сейчас программное обеспечение на сайте, отвечающее за обработку страниц HTTP, проводит описанную выше процедуру полностью корректно:

проверка.png

Однако при обращении к страницам без знака “/” в конце строки, расположенных по защищенному протоколу HTTPS (на который мы рекомендуем полностью перевести работу сайта), процедура перенаправления проводится с ошибками:

301.png

На примере выше страница https://unium.ru/kursy/po_matematike была перенаправлена на неактуальный адрес http:\/\/unium\.ru:443\/kursy\/po_matematike\/ с незащищенным протоколом и портом 443, закрепленным за HTTPS.

Такое поведение может привести к появлению ошибок индексации сайта и плохо сказаться на продвижении.

Чтобы избежать проблем, на сервере потребуется организовать 301 редирект: с URL без знака “/” в конце строки на URL по умолчанию, то есть со знаком “/” для страниц, доступных расположенных по защищенному протоколу HTTPS.

Например, при вводе https://unium.ru/kursy/po_matematike мы получим от сервера код ответа 301 и указание на страницу со знаком “/” в конце строки: https://unium.ru/kursy/po_matematike/.

Скорость загрузки

В своих рекомендациях мы также обращаем особое внимание на скорость загрузки десктопной и мобильной версии сайта. По данным сервиса https://testmysite.thinkwithgoogle.com/, скорость загрузки страниц сайта, например, https:\/\/unium\.ru\/kursy\/francuzskij_yazyk\/ не соответствует требованиям Google и имеет показатель 39 и 100 возможных:

site speed.png

Скорость загрузки — один из значимых критериев как при использовании пользователями, так и при ранжировании сайта в поисковых системах. Низкая скорость загрузки напрямую влияет на конверсию, так как большинство пользователей не будет пользоваться медленным сайтом.

Также можно воспользоваться рекомендациями сервиса PageSpeed Insights от Google. Например, проверим внутреннюю страницу https://unium.ru/kursy/podgotovka_k_gia/:

pagespeed.png

Сейчас мы видим цифру 11/100 около заголовка «Рекомендации», что является критично низким значением: чем ближе первая цифра к 100, тем лучше скорость загрузки сайта с точки зрения поисковой системы Google. Оптимально – от 80.

Для нашего примера рекомендуется обязательно:

  • Оптимизировать изображения.
  • Удалить из верхней части страницы код JavaScript и CSS, блокирующий отображение.

Исправить по возможности:

  • Использовать кеш браузера.
  • Оптимизировать видимое содержимое.
  • Сократить JavaScript.

Проверка скорости загрузки внутренней страницы сайта с мобильных устройств показала значение 10/100, что тоже является недопустимым результатом.

Переадресация в навигации по сайту

Мы нашли несколько некорректных редиректов с кодом ответа сервера 301 Moved Permanently. Это может привести к снижению скорости загрузки и неоптимальному распределению ссылочной массы. В нашем случае ссылки через редиректы ведут на страницы с указанием порта в URL. Поисковые системы могут воспринять такие ссылки как дубли.

дубли.png

Исправление «хлебных крошек»

«Хлебные крошки» на сайте https://unium.ru/ организованы некорректно: они либо неполные, либо содержат неправильный URL.

Пример со страницы https://unium.ru/kursy/anglijskogo_yazyka/5_klass/:

пример.png

«Крошка» «Английский язык» содержит неправильный URL - https:\/\/unium\.ru\/extranet\/kursy\/anglijskogo_yazyka\/ (должен быть https://unium.ru/kursy/anglijskogo_yazyka/).

«Хлебные крошки» на странице https://unium.ru/kursy/skorochtenie_i_razvitie_pamyati/ неполные:

хлебные крошки.png

Не учтен раздел https://unium.ru/kursy/razvivayuschie/. «Крошки» на странице должны выглядеть так:

Главная - КурсыРазвивающие - Развитие памяти и скорочтение

Аналогичная проблема наблюдается на всех основных подразделах курсов.

На страницах раздела «Новости» в «крошки» не включена последняя страница (она не должна быть оформлена, как ссылка, но присутствовать должна). Пример «хлебных крошек» для страницы https://unium.ru/news/detail.php?ID=322211:

Главная - Новости - Подведены итоги розыгрыша Iphone-6

Отметим, что последняя «крошка» не должна быть оформлена ссылкой. Иначе получается, что страница ссылается на саму себя.

Таким образом, нужно внести следующие правки:

1. Включить в «хлебные крошки» полный путь до раздела.

2. Заменить некорректные URL с вхождением “extranet” на правильные.

3. Убрать атрибут href с последней «крошки».

После того, как «крошки» будут откорректированы, следует разметить их согласно инструкции: https://developers.google.com/structured-data/breadcrumbs. Размечать HTML-код мы рекомендуем с помощью микроданных http://www.data-vocabulary.org/.

Рассмотрим разметку на примере страницы https://unium.ru/kursy/po_matematike/.

Мы имеем следующую навигационную цепочку:

Главная / Курсы / Математика

Следует обернуть каждый элемент цепочки навигации в блок (например, div) с атрибутами itemscope itemtype=http:\/\/data-vocabulary\.org\/Breadcrumb, где

  • itemscope означает, что данный блок описывает элемент;
  • itemtype обозначает тип элемента (в нашем варианте – элемент навигации).

Для ссылки добавляем атрибут itemprop="url". Он указывает разметке, что это ссылка. В блок с названием ссылки добавляем атрибут itemprop="title".

Для страницы https://unium.ru/kursy/po_matematike/ модернизируем блок ссылок для «хлебных крошек» (красным цветом выделено то, что необходимо добавить в HTML-код):

Проверить наш код можно в валидаторе микроразметки Google.

Микроразметка для страниц услуг

Поисковики хорошо относятся к микроразметке, и она станет дополнительным бонусом при ранжировании.

Мы рекомендуем инструкцию от «Яндекса»: https:\/\/yandex\.ru\/support\/webmaster\/supported-schemas\/goods-prices\.xml.

Сниппет без семантической разметки:

сниппет.png

Сниппет с использованием семантической разметки (показывается цена и описание товара):

сниппет с разметкой.png

На размеченных страницах должно быть одно или несколько предложений конкретной услуги. Если на странице представлены разные услуги, структурированные сниппеты не формируются.

Пример простейшей разметки для страницы https://unium.ru/kursy/fotografii/dlja_nachinajushhih/:

Основы цифровой фотографии

Размер группы 6-12 человек. Занятия по 120 минут в неделю. Всего 48 ак. часов

от 2200

RUB

Проверить микроразметку можно в валидаторе микроразметки «Яндекса»: https://webmaster.yandex.ru/microtest.xml

В этой статье мы рассмотрели наиболее критичные ошибки, обнаруженные на сайте www.unium.ru, их необходимо реализовать в первую очередь.

Перечень не вошедших в статью рекомендаций по улучшению индексации выглядит следующим образом:

  • Устранение «битых» ссылок
  • Дубли в коде
  • Настройка редиректов с https://ftk.edu.ru/
  • Корректировка содержимого карт сайта xml
  • Коррекция оформления внешних исходящих ссылок
  • Коррекция «хлебных крошек»
  • Спамные ссылки в комментариях
  • Использование микроразметки для страниц услуг
  • Разметка контактов с помощью формата hCard
  • Переработка раздела «Тесты»
  • Внутренняя перелинковка
  • Проверка удобства просмотра сайта на мобильных устройствах
  • Коррекция поведения сервера при обращении к адресам страниц указанным с ошибками в регистре
  • Добавление регионов через Яндекс.Каталог
  • Настройка If-Modified-Since и Last-Modified
  • Коррекция целей в Яндекс.Метрике
  • Внедрение «псевдостатических» адресов для страниц сайта
  • Оптимизация файлов формата, отличного от HTML

Мы хотим отметить, что оптимизация сайта должна соответствовать современным требованиям поисковых систем и при выполнении всего комплекса работ первые результаты можно будет увидеть уже через 1–3 месяца.

Помимо работ над технической частью, нам необходимо повысить релевантность сайта тем запросам, которые мы выбрали на первом этапе аудита. Страницы сайта должны максимально точно соответствовать требованиям пользователей и отвечать на их запросы. Кроме того, сайт должен быть удобен в использовании и эргономичен. Об этом мы поговорим во второй части статьи, которая будет опубликована уже совсем скоро.

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Mike Oreon https://ijrfpioqqerjw.com 123
    1
    комментарий
    0
    читателей
    Mike Oreon https://ijrfpioqqerjw.com 123
    больше года назад
    Mike Oreon ijrfpioqqerjw.com 123
    -
    0
    +
    Ответить
  • Рамазан
    больше года назад
    Получил для себя много хорошего, Спасибо!
    -
    0
    +
    Ответить
  • Константин Сокол
    25
    комментариев
    0
    читателей
    Константин Сокол
    больше года назад
    Если пишите про микроразметку статей, пишите, какие данные вы там размечаете

    схема Product для интернет-магазинов.
    -
    0
    +
    Ответить
  • Сергей
    больше года назад
    Неплохой аудит. Скажите, что означает "Внедрение псевдостатических адресов"?
    Кстати, в robots.txt необязательно использовать * в конце.
    -
    0
    +
    Ответить
    • Катя Семибратова
      4
      комментария
      0
      читателей
      Катя Семибратова
      Сергей
      больше года назад
      Для корректной индексации в поисковых системах мы рекомендовали создать «псевдостатическую» адресацию для страниц пагинации на сайте, исключив из URL’ов все специальные символы, такие как «?», «=», «&» и др.Например, для страницы unium.ru/teacher/?PAGEN_1=2 URL может быть следующим: unium.ru/teacher/page-2/.

      -
      0
      +
      Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Как мы увеличили число посетителей сайта на 89 000 человек и индекс качества на 30 единиц за 4 месяца
Никита Ширяев
4
комментария
0
читателей
Полный профиль
Никита Ширяев - Здравствуйте, 1. ТЗ на создание контента, это всего лишь одна из задач, которую мы делаем на проекте. 2. Получаемый текст обязательно проходит проверки на спам. 3. ТЗ на создание контента, это ориентир для авторов. 4. Как раз таки ТЗ помогает не переспамить в тексте, так как мы замеряем показатели ТОПа и ориентируемся на него. И опять приведу Вам скриншот, который подтверждает постоянный рост рейтинга домена. DR имеет сильную прогрессию.
Алексей Романенков (Rookee): как обеспечить проекту видимость в интернете и какими инструментами ее наращивать
Rookee
3
комментария
0
читателей
Полный профиль
Rookee - Добрый день. Взяли на заметку, спасибо. Чтобы не пропустить материал на тему репутационной стратегии от Алексея, следите за Rookee в соцсетях :)
Михаил Сливинский (Яндекс): об алгоритмах качества в поиске, сгенерированных текстах и накрутке ПФ
Анна Макарова
389
комментариев
0
читателей
Полный профиль
Анна Макарова - Владимир, спасибо за комментарий! Если вдруг Михаил сюда не придет, то мнением и мыслями можно напрямую поделиться в ТГ амбассадора. В этой новости оставляли контакт: www.seonews.ru/events/vebmasterskaya-2024-v-yandekse-poyavilsya-ambassador-internet-ploshchadok-v-poiske/
Матвей Северянин дает экспертный отзыв: 788 000 ₽ за месяц на продаже Telegram-каналов – реально
Александр
1
комментарий
0
читателей
Полный профиль
Александр - Согласен с Матвеем. Сам покупаю- продаю Тг каналы на бирже : t.me/birga_prodagi_tg_kanalov - Биржа продажи ТГ каналов | Альянс-А
Зачем вам доверие поисковиков, как его укреплять и привлекать клиентов на сайт
Rookee
3
комментария
0
читателей
Полный профиль
Rookee - Рекомендуем задуматься как можно скорее, потому что даже только что созданный сайт чаще всего нуждается в оптимизации. Битые ссылки, лишние редиректы, низкая скорость загрузки - от всего этого нужно избавляться, чтобы сайт успешно продвигался в поиске и удерживал внимание пользователей. Тарифы на оптимизацию бывают разные, в Rookee базовая техническая оптимизация стоит 13 090, а в рамках Комплексного продвижения может обойтись дешевле или дороже в зависимости от потребностей сайта.
Как вырастить трафик из блога в 9,7 раз за год. Кейс
Сергей Шабуров
1
комментарий
0
читателей
Полный профиль
Сергей Шабуров - Константин, здравствуйте! Лид-формы у нас прямо в статьях, так что трафик идет с самих статей.
Яндекс Маркет представил собственный бренд велосипедов Raskat
Анна Макарова
389
комментариев
0
читателей
Полный профиль
Анна Макарова - Для городского велосипеда 14-16 кг - вполне ок, можно сказать легкий. Почему нет? )) Понятно, что есть варианты и легче, но они уже скорее всего будут спортивного плана, где каждый грамм имеем значение.
В какой поисковой системе продвигать финансовый сайт: выводы исследования Sape
Sape
3
комментария
0
читателей
Полный профиль
Sape - Добрый день! Спасибо за вашу обратную связь. Да, действительно, метрика DA не обновляется последние три месяца из-за проблем с поставщиком данных. Мы уже работаем над этим, в ближайшее время исправим. На данный момент для отбора сайтов в системе доступны десятки других метрик, которые обновляются регулярно. Касательно цен — с ними всё в порядке. Если у вас есть вопросы относительно ценообразования, мы готовы на них ответить. Благодарим, что поделились мнением. Мы всегда рады конструктивному диалогу!
Как продвигать сайты на Tilda и стоит ли это делать
Екатерина
1
комментарий
0
читателей
Полный профиль
Екатерина - "таких как канонические URL" - настройки страницы --> SEO --> Продвинутые - Вуаля, присваиваем странице каноникал. "микроразметка Schema.org" - что мешает добавить ее кодом в блок "html-код"
Google AdSense окончательно прекращает работу в России: аккаунты россиян будут деактивированы
Галина Николаева
1
комментарий
0
читателей
Полный профиль
Галина Николаева - а что, разве кто-то еще получал деньги с AdSense? у меня уже 2 года как не работает, деньги там остались, как их вывести, хз
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
389
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
120
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!