Россия+7 (495) 960-65-87

Быстрое исследование индексации сайта через новый Вебмастер

Россия+7 (495) 960-65-87
Шрифт:
13 19786

В новой версии Яндекс.Вебмастера появился удобный инструмент быстрого исследования того, как сайт индексируется поисковой системой.

Этот инструмент называется «Статистика» и находится он в разделе «Индексирование».

Я хочу рассказать вам, как мы, в агентстве Реаспект, проводим быстрый аудит индексирования сайта при помощи данного инструмента.

1. Составление структуры сайта

2. Проверка соответствия реальной структуры сайта и добавление новых разделов

3. Выгрузка данных

4. Исследование данных

  • Коды ответа, отличающиеся от 200
  • Коды ответа 200, но исключенные из поиска. Возможные причины и способы их устранения

5. Распространенные ошибки

6. Выводы.

1. Составление структуры сайта

Если у вас небольшой сайт (до 5000 страниц), пункты 1-2 можно пропустить и сразу перейти к пункту 3 — Выгрузка данных.

Составление структуры сайта – то, что необходимо делать с самого начала работы над новыми проектами. Именно на этом этапе специалист знакомится с проектом, получает первые представление о проблемных зонах и точках роста.

Тема составления и расширения структуры сайта довольно большая. Если читателям будет интересно, я напишу отдельную статью о том, как правильно составить структуру сайта, какие можно использовать для этого инструменты и какие полезные решения можно найти для роста сайт.

На выходе мы должны получить структуру сайта c url масками

Пример структуры:

Раздел

URl

Главная

site.ru

Каталог продукции 1 (категория продуктов)

site.ru/catalog-1/

Подкаталог продукции 1.1 (бренд/подкатегория)

site.ru/catalog-1/category-1/


2. Проверка соответствия реальной структуры сайта и добавление новых разделов

Заходим в новый вебмастер Яндекса, выбираем нужный сайт и заходим в раздел «Индексирование – Структура».

Структура сайта показывает распределение страниц сайта, загруженных роботом, по директориям и скриптам. Она отображает только разделы, которые содержат более 10 страниц и составляют более 1% от общего числа страниц, загруженных в базу Поиска.

Подробнее: https://yandex.ru/support/webmaster/site-indexing/site-structure.xml#what-is-structure

Смотрим, какие разделы и подразделы выделила поисковая система, и в случае необходимости добавляем новые разделы кнопкой «Добавить раздел».

К сожалению, в настоящий момент есть возможность добавить до 5 пользовательских разделов.

На вопрос, будет ли увеличено количество пользовательских разделов, поддержка Яндекс Вебмастера отвечает: «Пока от пользователей сервиса не было массового запроса на увеличение данной возможности. При возникновении такого общественного запроса он будет рассмотрен менеджерами сервиса».

Но мы можем добавлять свои разделы и удалять их по мере необходимости.

01-indeksirovanie-struktura.png

Стоит учесть, если вы добавили свой раздел в структуру, и Яндекс знает о страницах, которые есть в данном разделе, но в столбцах «Загружено», «В поиске» и «Доля загруженных, %» появляется надпись: «Данные о разделе скоро появятся», вы все равно можете посмотреть всю нужную информацию, зайдя в соответствующий отчет. Данные о разделах в таблице обновятся позже.

3. Выгрузка данных

Для выгрузки данных о страницах идем в раздел «Индексирование» - «Статистика».

В выпадающем меню разделов сайта выбираем:

  • Если у вас небольшой сайт (до 5000 страниц) выбирайте корневой раздел (домен сайта)
  • Если сайт большой, в меню выбирайте раздел, который планируете изучать. Иначе файл выгрузки может получиться очень объемным

Далее можно начать ковыряться в сводке, выбирая разные типы ошибок и смотреть что там и как, это будет красиво, но долго. А нам надо быстро и удобно.

02-indeksirovanie-statistika.png

Для этого нажимаем кнопку «Скачать архив загруженных страниц».

4. Исследование данных выгрузки

В полученном архиве будет файл с расширением .tsv. Файлы с таким расширением открываются офисными таблицами, например, excel.

Задаем в документе фильтрацию («Данные» - «Фильтрация») и приступаем к анализу данных.

03-vigruzka-filtra.png

4.1. Страницы с кодом ответа отличным от 200

Первым делом изучаем, с какими кодами ответа сервера, кроме 200 столкнулся Яндекс на исследуемом сайте.

Для этого, в колонке «http_code» поочередно просматриваем все значения, отличные от «200».

Самые распространенные коды ответов:

  • 30X – коды ответов серверного перенаправления с одной страницы на другую
  • 40X – коды ответов несуществующих страниц
  • 50X – коды ответов ошибок сервера
  • «-» – Не поддерживаются основным индексирующим роботом поиска Яндекса

Подробнее с кодами ответа вы можете ознакомиться на данной странице https://yandex.ru/support/webmaster/error-dictionary/http-codes.xml?lang=ru

Хочу обратить внимание на то, что коды ответов в таблице – это коды, полученные поисковой системой на момент посещения страницы, и на момент выгрузки данных, код может отличаться. Поэтому, обязательно смотрите данные из колонки «last_access».

Не забывайте, что Яндекс выгружает данные в формате Unix-time. Для преобразования данного формата в классический можно использовать формулу =C2/(60*60*24)+"1/1/1970".

4.2. Страницы с кодом ответа 200, не участвующие в поиске

Приступаем к изучению страниц, которые отдавали код ответа 200 (существуют) Яндексу, но не участвуют в поиске.

Для этого выставляем в колонке «http_code» значение «200», а в колонке «searchable» значение «0».

Поочередно просматриваем, какие страницы исключены из индекса поисковой системы. Зайдите на сами страницы и попытайтесь понять, почему Яндекс считает данные страницы бесполезными для поиска.

4.3. «Мусорные» страницы с кодом ответа 200, участвующие в поиске

Также рекомендую после описанных выше шагов изучить, какие страницы присутствуют в выдаче поисковых систем в настоящий момент.

Цель такого изучения – поиск страниц, которые в индексе присутствовать не должны, как пример:

  • Технические дубликаты
  • Мусорные страницы
  • Страницы c UTM-метками
  • Страницы из предыдущей структуры
  • Страницы поиска и фильтрации
  • И прочие нестандартные страницы

Если такие страницы найдены, то лучшим решением будет удалить их из поиска, закрыв от индексации, или удалить с сайта, если это мусор.

5. Наиболее распространенные ошибки

Можно выделить следующие ошибки, которые я чаще всего встречаю при анализе сайта и пути их решения:

  • 302 код временного серверного перенаправления. Данный код используется при временном перемещении страницы на другой адрес. В этом случае страница не удаляется из индекса поисковых систем, и может создавать дубль основной страницы. Если страница переносится на новый url, обязательно ставьте 301 серверный редирект.
  • 404 код несуществующих страниц. Подобный код может быть только у страниц, которые были целенаправленно удалены с сайта. Если 404 код отдают страницы, которые существуют, проверяйте все ли нормально со страницами и отправляйте эти страницы в очередь переобхода поисковой системой («Новый вебмастер» - «Инструменты» - «Переобход страниц»).
  • 50X коды ошибок на стороне сервера. Подобных ошибок на сайте быть не должно. Если они есть, проверяйте состояние сайта в настоящий момент. И обязательно проверьте, как часто сервер, на котором находится ваш сайт «падает». Если у вас на сайте установлена Яндекс.Метрика, можно посмотреть отчет по адресу: «Отчеты» - «Стандартные отчеты» - «Мониторинг» - «Результаты проверки». В данном отчете отражаются «падения» сайта. Если Аптайм менее 99,5% в месяц, стоит задуматься о смене сервера.
  • Удалённые страницы, отдающие код ответа 200. Часто бывает так, что страница была удалена с сайта, но она продолжает отдавать код ответа 200 (существует). Старайтесь сделать так, чтобы удалённые страницы всегда отдавали код ответа 404.
  • Существующие страницы с кодом ответа, отличным от 200. Если вы хотите, чтобы страница участвовала в поиске, она должна отдавать только код 200.
  • Существующие страницы без входящих внутренних ссылок. Стоит учесть, что, если у вас на сайте есть страницы, на которые не ссылается даже ваш собственный сайт, шансы участия такой страницы в поиске резко снижаются. Старайтесь ссылаться на все страницы, существующие на вашем сайте тогда, когда это было бы логично.

6. Итог

Таким, довольно несложным для освоения способом, можно быстро поставить предварительный диагноз многим сайтам. Найти, какие страницы могли бы приносить трафик, но не приносят, а какие наоборот воруют трафик.

Не получилось проверить структуру сайта самостоятельно или добавить новые разделы? Оставляйте комментарии, будем разбираться вместе.

(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Михаил Самчук
    1
    комментарий
    0
    читателей
    Михаил Самчук
    больше года назад
    А если вебмастер яндекса показывает страницы с кодом 200 которых нет на сайте?
    Что делать в таком случае?
    -
    0
    +
    Ответить
    • Александр
      44
      комментария
      0
      читателей
      Александр
      Михаил Самчук
      больше года назад
      Значит нужно:
      а) настроить корректный код ответа на несуществующие страницы.
      б) найти внешние ссылки на эти страницы и удалить по возможности.
      -
      0
      +
      Ответить
  • Гость
    больше года назад
    А есть какая-то возможность удалить из структуры давно удаленные страницы? Код ответа 404, в индексе нет, а в отчете присутствуют. Хорошо бы их убрать, чтобы не отвлекали.
    -
    0
    +
    Ответить
  • Лола
    больше года назад
    Руслан, а почему Вы считаете что страницы  поиска и фильтрации это мусорные страницы?
    Некоторые наоборот советуют открывать такие страницы поисковикам, добавляя таким образом более точные запросы
    -
    1
    +
    Ответить
    • Руслан Фатхутдинов
      19
      комментариев
      0
      читателей
      Руслан Фатхутдинов
      Лола
      больше года назад
      Лола, вы правы. Страницы фильтрации можно использовать для привлечения дополнительного трафика.
      Но для этого, страницы фильтрации надо тоже оптимизировать.
      Если коротко, то мнение наших специалистов озвучено в вопрос недели www.seonews.ru/events/vopros-nedeli-chto-uchest-pri-sozdanii-filtrov-v-internet-magazine/
      Более подробно вопрос расширения структуры сайта, в том числе за счет страниц фильтрации я планирую осветить в одной из следующих статей.
      -
      1
      +
      Ответить
  • Гость
    больше года назад
    Спасибо за статью! А что делать, если в отчете "Структура" отображаются УРЛ старой адресации с ответом сервера 301 или 404? Я так понимаю, самостоятельно ничего не удалить?
    -
    1
    +
    Ответить
  • sundrop
    больше года назад
    Статья полезная и наглядная, мне понравилась.
    Правда почему-то скачанный архив загруженных страниц содержит только 1 строчку - заголовок. У вебмастера глюк или у меня?
    -
    1
    +
    Ответить
    • Руслан Фатхутдинов
      19
      комментариев
      0
      читателей
      Руслан Фатхутдинов
      sundrop
      больше года назад
      Спасибо за положительный отзыв :)
      Попробовал только что выгрузить отчет. Все хорошо.
      Попробуйте другой браузер, или другой сайт.
      -
      2
      +
      Ответить
  • Никита
    1
    комментарий
    0
    читателей
    Никита
    больше года назад
    Спасибо за статью. Очень полезно! А как с помощью вебмастера выявить страницы не в индексе? Просто исключить из общего списка проиндексированных страницы в поиске?
    -
    1
    +
    Ответить
    • Руслан Фатхутдинов
      19
      комментариев
      0
      читателей
      Руслан Фатхутдинов
      Никита
      больше года назад
      Спасибо за положительную оценку :)
      К сожалению, в самом вебмастере нет возможности смотреть какие страницы в индексе, а какие нет без выгрузки.
      -
      2
      +
      Ответить
  • Steel
    1
    комментарий
    0
    читателей
    Steel
    больше года назад
    Руслан,было бы интересно почитать статью о том,как правильно составлять структуру сайта.
    -
    10
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Google Data Studio: делаем красивые отчеты по контекстной рекламе для клиентов
Askar Seitov
1
комментарий
0
читателей
Полный профиль
Askar Seitov - помогите! не могу понять почему по инструкции в вашей статье добавляю вычистяемые поля просто копирую ваш код, но датастудио выдает ошибку на этот код: Синтаксическая ошибка: Недопустимый входной символ. Убедитесь, что в формуле нет кавычек-лапок.. как это исправить? я все варианты кавычек уже попробовал
Сайт на WordPress: за и против
Мира Смурков
1
комментарий
0
читателей
Полный профиль
Мира Смурков - Людмила, я согласен с большинством комментаторов. Вы хоть один полноценный магазин сделали на этих движках? Woocommerce это система с супер возможностями. И к ней есть дополнительные модули, с функционалом, который вряд ли появиться на Битрикс. А самому это программировать - сотни тысяч рублей на разработку. А приведя в пример сложности с robots.txt и Sitemap вы ставите под вопрос вашу компетенцию в понимании Интернет-бизнеса и веб-разработки в целом. Во-первых это такие мелочи, а во-вторых это все делается на вордпресса за 2 минуты, и опять же с возможностями многократно превышающими Битрикс.
#SEOnews14: мы празднуем – вы получаете подарки!
Rizat Sundetov
1
комментарий
0
читателей
Полный профиль
Rizat Sundetov - 14
Война с дубликатами. Как нужно и как не нужно канонизировать URL
Дмитрий
1
комментарий
0
читателей
Полный профиль
Дмитрий - Здравствуйте, на сайте возможно несколькими путями дойти до почти одинаковой страницы, те отличаться будет только незначительная часть H1, а контент будет одинаковым, дело в применимости автозапчастей к разным автомобилям. Что из этого будет каноничной ссылкой и какие есть пути для решения подобных ситуаций? 1 - bpauto.ru/catalog/audi/audi-a6/a6-iv-c7-sedan-2011-2014/kuzov-naruzhnaya-chast/dveri-i-komplektuyushchie/dver-perednyaya-levaya/ 2 - bpauto.ru/catalog/audi/audi-a6/a6-iv-c7-rest-sedan-2014-n-v-/kuzov-naruzhnaya-chast/dveri-i-komplektuyushchie/dver-perednyaya-levaya/
Как ускорить сайт на WordPress, чтобы получить 100/100 в Google PageSpeed Insights
Марина Ибушева
46
комментариев
0
читателей
Полный профиль
Марина Ибушева - Здравствуйте! Все рекламные материалы на SEOnews помечаются. В данном случае мы решили перевести и опубликовать эту статью совершенно бесплатно, так как она показалась нам интересной и вызвала бурное обсуждение среди западных SEO-специалистов. Ссылки мы ставим в конце ко всем материалам, если у них есть первоисточник.
Как выбрать подрядчика для продвижения сайта: 7 уровней воронки поиска
aashutosh
1
комментарий
0
читателей
Полный профиль
aashutosh - data science training institute in noida- Webtrackker Technology (8802820025) providing Data Science Training in Noida. Get ✓ 40 Hours Learning training✓ 70 Hrs Projects ✓ 24 X 7 Support ✓ Job Assistance. WEBTRACKKER TECHNOLOGY (P) LTD. C - 67, sector- 63, Noida, India. E-47 Sector 3, Noida, India. +91 - 8802820025 0120-433-0760 +91 - 8810252423 012 - 04204716 EMAIL:info@webtrackker.com webtrackker.com/Best-Data-Science-Training-Institute-in-Noida.php
Как построить качественный ссылочный профиль на основе конкурентов
Ирина
5
комментариев
0
читателей
Полный профиль
Ирина - Давно сотрудничаю с megaindex.com и считаю данный сервис одним из лучших в сео сегменте рунета да и не только рунета. Пользуюсь их инструментами для аналитики своих работ и выявлению своих и чужих ошибок. Да и ссылочный профиль, как и говорится в данной статье сделать гораздо проще и правильней при помощи как раз мегаиндекса. Добавлю еще что инструмент для поиска конкурентов у мегаиндекса очень удобный и простой в применении.
Google назвал три главных SEO-фактора
Павел Андрейчук
44
комментария
0
читателей
Полный профиль
Павел Андрейчук - Я бы не стал утверждать что это так. У меня есть ресурс где ссылок.. ну я не знаю, полтинник может быть, вручную проставленные года за 2 и позиции хорошие по могим запросам именно в гугле, в то время как в Яндексе позиции ниже. Хотя конечно с ссылками позиции были бы лучше, наверное, но владелец увы не выделяет бюджет на ссылки.
Чек-лист для аудита рекламных кампаний в Яндекс.Директе и Google Ads
Елена Бикташева
1
комментарий
0
читателей
Полный профиль
Елена Бикташева - Спасибо! Была бы еще возможность скачивания.
6 причин, почему нет позиций и трафика
Артур Латыпов
0
комментариев
0
читателей
Полный профиль
Артур Латыпов - Леонид, да 3 пункта повторяется, согласен. Но сильно актуальны и сейчас, смотрим на сайты, приходящие на SEO, которые ранее продвигались, практически на всех можно что из 6 пунктов найти, исправить и ситуация улучшиться оперативно.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
352
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
105
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
69
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!