Рекламные кампании для вашего бизнеса
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:

Как составить структуру сайта и какие инструменты использовать

Россия +7 (495) 960-65-87
Шрифт:
7 9141

Как я писал в прошлой статье «Быстрое исследование индексации сайта через новый Вебмастер»: «Составление структуры сайта – то, что необходимо делать с самого начала работы над новыми проектами. Именно на этом этапе специалист знакомится с проектом, получает первые представление о проблемных зонах и точках роста.»

При этом структура сайта может помочь в понимании сайта всем специалистам, которые работают над проектом: контекстологи, аналитики, маркетологи и т.д.

В этой статье я расскажу, как мы подходим к составлению структуры сайта и какие инструменты используем.

Инструменты

Чтобы составить структуру сайта вполне хватит и простого notepad.exe, но для того чтобы эта структура была еще и наглядной и легко масштабировалась, я советую использовать приложение для составления mind-карт, например, Xmind.

Для некоторых из описанных способов могут понадобиться и другие инструменты, о которых я упомяну дополнительно.

Способы составления структуры сайта

Есть несколько способов для составления структуры, у каждого есть свои плюсы и минусы.

Я хочу остановиться на следующих способах:

  • «Ручное» составление
  • Составление на основе поисковой выдачи
  • Составление с использованием парсеров
  • Составление на основе выгрузки из вебмастера

Перед тем как перейти к описанию самих способов, хочу посоветовать «семплировать» однотипные страницы.

То есть, если в категории есть много товаров, не стоит все их заносить в карту, ограничьтесь примером одной страницы.

Каждый способ, кроме «Ручного», для наглядности я буду разбирать на реальных сайтах. А в конце данной статьи будут приложены ссылки на скачивание полученных документов.

«Ручное» составление

Данный подход заключается в том, что вы просматриваете своими глазами сайт страница за страницей и «закидываете» данные в карту.

Минусы: это самый «громоздкий» и трудозатратный способ, который требует огромного количества времени и абсолютно не гарантирует высокое качество.

Плюсом, наверное, является то, что это дело можно поручить любому человеку, мало-мальски умеющему обращаться с компьютером. Но смотрим на минусы.

Составление на основе поисковой выдачи

Подход заключается в изучении поисковой выдачи Яндекса по сайту с применением документных операторов:

  • “rhost:” – поиск по хосту и поддоменам;
  • “host:” – поиск по страницам хоста;
  • “inurl:” – поиск по страницам, содержащим в адресе заданный набор символов;
  • “~~” – минус или исключение.

Данный способ является моим любимым, благодаря своим достоинствам он дает очень хорошее представление о структуре любого сайта, о котором знает Яндекс, и не требует особых навыков от исполнителя.

Но и минусы у данного подхода ощутимые:

  • Средние трудозатраты
  • Не всегда можно получить точную карту сайта

Ограничения:

Сайт должен некоторое время индексироваться Яндексом;

Адреса страниц сайта должны быть ЧПУ, или у исполнителя должно быть точное представление о паттернах формирования адресов страниц.

Приступим к практической части и изучим структуру сайта, которым я часто пользуюсь readly.ru.

1. Первым делом узнаем, есть ли у сайта поддомены. Для этого в поисковой строке вбиваем запрос:

Запрос

Расшифровка

rhost:ru.readly* ~~ host:readly.ru

Поиск по хосту и поддоменам:ru.redly* минус хост основного зеркала:readly.ru

01-rezultati-poiska-poddomen.png
Рис. 1 «Результаты поиска по поддоменам»

В результатах видим, что поддомены есть, а всего Яндекс знает о 3554 млн страниц, расположенных на поддоменах.

Поочередно добавляем найденные поддомены в нашу карту сайта, дополняя поисковый запрос, минусуя новые поддомены до тех пор, пока поисковая выдача не станет пустой.

Для изучаемого сайта итоговый запрос был таким:

rhost:ru.readly* ~~ host:readly.ru ~~ host:m.readly.ru

Карта поддоменов:

02-karta-poddomenov.png
Рис. 2 «Карта поддоменов»

Позже каждый поддомен можно будет изучить более подробно описанным способом, а пока вернемся к основному сайту.

2. Изучаем выдачу по хосту.

03-rezultati-vidachi-host.png
Рис. 3 «Результаты выдачи по хосту»

3. Аналогично тому, как мы исключали поддомены, начинаем исключать разделы первого уровня.

Но теперь в запросе мы исключаем паттерны, содержащиеся в URL-адресах. И сразу хочу предупредить об особенностях:

  • Исключать лучше точный паттерн URL, т.е. если URL раздела состоит из одного слова, лучше «захватить» еще и паттерн предыдущего раздела или его часть;
  • Так как в паттерне будет более одного слова, его необходимо взять в кавычки "";
  • Иногда разделов на сайте может быть больше, чем максимальная длина поискового запроса в 400 знаков. В таком случае приходится искать способы изучения: использовать парсеры поисковой выдачи, сокращать длину запроса или, что чаще, продолжить изучать выдачу руками (обычно к этому моменту в выдаче остается в основном мусор).

Пример запроса:

Запрос

Расшифровка

host:readly.ru ~~ inurl:"ru/books"

Поиск по страницам хоста:readly.ru минус страницы содержащие:"ru/books"

Также начинаем дополнять нашу карту сайта и поисковый запрос разделами сайта до тех пор, пока поисковая выдача не опустеет.

Итоговый запрос для изучаемого сайта следующий:

host:readly.ru ~~ inurl:"/books/" ~~ inurl:"/book/" ~~ inurl:"/genre/" ~~ inurl:"/author/" ~~ inurl:"/collection/" ~~ inurl:"/serie/" ~~ inurl:"/pages/" ~~ inurl:"/discussion/" ~~ inurl:"/tag/" ~~ inurl:"/discussions/" ~~ inurl:"/poll/" ~~ inurl:"/sitemaps/" ~~ inurl:page ~~ inurl:"/authors/" ~~ inurl:"/series/" ~~ inurl:"/reviews/" ~~ inurl:"/public/" ~~ inurl:"/collections/"

И в выдаче осталась только 1 главная страница.

04-ostalis-posle-isklucheniya.png
Рис. 4 «Оставшиеся после исключения разделов страницы»

Получаем карту разделов.

05-karta-razdelov.png
Рис. 5 «Карта разделов»

4. Получив карту разделов, сайта переходим к изучению каждого отдельного раздела.

Запрос остается почти таким же при изучении основных разделов, с той разницей, что добавляется условие, что искать надо не только по сайту, но и по самому разделу.

Пример запроса:

Запрос

Расшифровка

host:readly.ru inurl:"ru/books/"

Поиск по страницам хоста: readly.ru по страницам, содержащим:"ru/books/"

Таким образом, изучая каждый раздел мы получаем полную карту сайта. Как минимум карту сайта, каким его видит Яндекс.

06-karta-saita-yandex.png

Рис. 6 «Карта сайта, как его видит Яндекс»

Составление структуры сайта при помощи парсеров

Данный способ заключается в том, что информация о страницах сайта собирается при помощи программ или сервисов-парсеров.

Мы в своей работе используем Screaming Frog, т.к. он довольно гибкий и удобный в работе. Вы можете использовать другие инструменты, которых сейчас можно найти много.

Плюсы:

  • Самый быстрый и легкий способ получения информации
  • Наименьшие трудозатраты
  • Самая полная информация о структуре сайта

Минусы:

  • Некоторые парсеры платные
  • Сайт может быть очень объемным, поэтому парситься он может очень долго

Ограничения:

  • Если URL-адреса сайта не ЧПУ, крайне рекомендуется наличие хлебных крошек на всех страницах.

Как я сказал выше, мы используем для работы Screaming Frog, поэтому пример буду делать на основе данной программы.

А в качестве подопытного сайта я возьму первый попавшийся сайт по запросу «Пластиковые окна».

Первым делом настраиваем программу:

  • Отключаем проверку всего лишнего (изображения, CSS, JS, внешние ссылки);
  • Включаем переходы по внутренним ссылкам, закрытым в nofollow;
  • Включаем игнорирование robots.txt.
07-nastoika-screaming-frog.png
Рис. 7 «Настройки Screaming Frog»

Также в настройках «Извлечения» настраиваем выгрузку содержания хлебных крошек страниц. Это сильно упрощает понимание структуры сайтов без ЧПУ.

Для этого идем в Configuration – Custom – Extraction. Включаем выгрузку Xpath – Extract Text и указываем xpath-код.

08-nastroika-izvlecheniya.png
Рис. 8 «Настройка извлечения»

Самый быстрый и простой способ узнать Xpath нужного элемента – в Google Chrome открыть консоль (Ctrl+Shift+I), выделить нужный элемент и в контекстном меню выбрать Copy-Xpath.

09-kopirovanie-xptah.png
Рис. 9 «Копирование Xpath»

Запускаем сбор информации по сайту и после окончания выгружаем список страниц URL с извлеченными xpath-данными. Для этого переходим на вкладку Custom-Extraction и нажимаем «Export».

10-vigruzka-dannih.png
Рис. 10 «Выгрузка данных»

Открываем полученный файл в таблицах и сортируем список:

  • По URL – Значения – От А до Я
  • Затем по столбцу с извлеченными данными – значения – от А до Я
11-sortirovka-dannih.png
Рис. 11 «Сортировка полученных данных»

Таким образом мы получаем список страниц и разделы, к которым данные страницы относятся.

Остается только перенести полученные данные в карту.

12-karta-sparschennogo-saita.png

Рис. 12 «Карта спаршенного сайта»

Составление структуры сайта на основе выгрузки данных из Яндекс.Вебмастера

Этот способ очень близок к способу составления изучением индекса Яндекса, за исключением того что нам не надо работать с поисковой выдачей, а можно сразу выгрузить все данные о страницах, которые знает Яндекс.

Плюсы: дает хорошее представление о структуре сайта и не требует больших временных затрат.

Минусы: мы смотрим на сайт «глазами» Яндекса и, если поисковая система, в силу каких-то причин, не знает о всех разделах и страницах сайта, мы их тоже упустим.

Ограничения аналогичны предыдущему способу: сайт должен индексироваться Яндексом. Очень желательно ЧПУ у сайта. Нужно иметь доступ к данным о сайте в Яндекс.Вебмастере.

Первым делом мы добавляем и подтверждаем сайт и все его поддомены в Яндекс Вебмастере.

«Сайты, добавленные в Яндекс Вебмастер».png
Рис. 13 «Сайты, добавленные в Яндекс Вебмастер»

Как видно, кроме домена reaspekt.ru у нас есть еще 3 поддомена: наш блог, поддомен по разработке сайтов и поддомен по продвижению, каждый из которых мы добавляем в карту сайта.

После этого выгружаем данные по каждому домену (подробно я описывал работу с выгрузкой в предыдущей статье) и начинаем заполнять карту сайта.

«Карта сайта с поддоменами из Яндекс Вебмастера».png
Рис. 14. «Карта сайта с поддоменами из Яндекс.Вебмастера»

Как и обещал, даю ссылку на скачивание всех получившихся структур сайтов.

Выводы

В своей работе мы параллельно используем сразу несколько способов составления карты сайта, каждый из которых дополняет ее новыми разделами и выявляет проблемные зоны, которые можно и нужно исправлять.

Как вы можете убедиться, процесс этот, хоть и трудоемкий, но не такой сложный.

В итоге вы получаете карту сайта, которая легко воспринимается любым специалистом.

В этой статье я планировал раскрыть вопрос того, как и зачем дополнять полученную карту, какие данные будут полезны и так далее, но пришел к выводу, что эта тема больше подойдет к отдельной статье, которую я планирую написать позже.

internet-dlya-biznesa

Есть о чем рассказать? Тогда присылайте свои материалы в редакцию.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
Отправить отзыв
  • Герасим
    2 месяца назад
    Комментарий был удален модератором
    -
    0
    +
    Ответить
    Поделиться
  • viznov
    2
    комментария
    0
    читателей
    viznov
    3 месяца назад
    Поскольку закладок на сайте мудрыми местными UX-экспертами не предусмотрено, попробую сделать закладку с помощью комментария. Потестирую.
    -
    1
    +
    Ответить
    Поделиться
    • Руслан Фатхутдинов
      14
      комментариев
      0
      читателей
      Руслан Фатхутдинов
      viznov
      3 месяца назад
      Советую getpocket.com или evernote.com. Очень хорошие сервисы для сохранения статей.
      -
      0
      +
      Ответить
      Поделиться
    • viznov
      2
      комментария
      0
      читателей
      viznov
      3 месяца назад
      Можно самому себе плюсики ставить. Классно!
      -
      -3
      +
      Ответить
      Поделиться
  • Гость
    3 месяца назад
    Поправьте по тексту написано Xptah вместо Xpath
    -
    0
    +
    Ответить
    Поделиться
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
23 действительно эффективных совета по продвижению интернет-магазина
Гость - Троль Гуру паНгинации - Что такое паНгинация?))))
Конкурс: угадайте пятерку лидеров рейтинга «SEO глазами клиентов 2016»
Марина
1
комментарий
0
читателей
Полный профиль
Марина - Ingate i-Media SEO.RU Netpeak 1PS.RU
Анализ ссылок: сравнение многофункциональных платформ по размеру их баз
Михаил - Хватит пениться на каждый аргументированный отзыв. Это не придает вашей компании чести.
Как создать интернет-магазин: сколько стоит открытие?
Гость - да у битрикса что ни обновление - то сплошные баги. недавно знакомый обновился на лицензии интернет-магазина, про***лись заказы за последнюю неделю, слетели все связи по складам. одним словом, жопа. при этом обновился на сразу, а спустя месяц после выкатывания, надеялся, успеют все поправить
Как упростить продвижение вечными ссылками?
Coursh - Зарегестрировался. Накинули 1100 рубликов за пополнение на 10к. Очень неплохо!
Вопрос недели: почему сайт хорошо ранжируется в Google и не интересует Яндекс?
Nina S.Dzh. - У вас достаточно конкурентная тематика для рунета и по главной странице домена расположена англоязычная версия. Полагаю, в этих двух фактах вся проблема. Поскольку Яндекс в данном случае считает английскую версию сайта приоритетной, а среди ваших конкурентов в выдаче достаточно много хороших русскоязычных сайтов, то он и не ранжирует ваш сайт высоко. Грубо говоря, ему есть что предложить пользователю и без вашего сайта. На мой взгляд, в данном случае версии нужно разводить по разным доменам, русскую вешать на RU и продвигать там.
Кому и зачем нужен маркетплейс от Яндекса
Дарья Калинская
203
комментария
0
читателей
Полный профиль
Дарья Калинская - Максим, спасибо, рада, что статья оказалась полезной )
Конкурс: угадай победителя рейтинга «Известность бренда SEO-компаний»
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Оптимизм Дэмис Кокос Ашманов и Партнеры Раш эдженси
ТОП-10 автоматизированных сервисов контекстной рекламы
Жанна Рожкова
155
комментариев
0
читателей
Полный профиль
Жанна Рожкова - Научитесь отличать рекламу от PR-активности. Если следовать вашей логике, на этом сайте (и на всех остальных информационных ресурсах в принципе) кроме рекламы ничего и нет. Так что насчет статьи от понимающего эксперта? Будем рады, если подготовите
Экспериментальное SEO: «Дырявые носочки панды»
Adrian - Испания и Португалия находятся в Европе и участвовали в чемпионате Европы. Одна из этих стран даже стала победителем. А Южная и Центральная Америка здесь при том, что там разговаривают на испанском и португальском языках. Сына, учите географию.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
285
Комментариев
262
Комментариев
203
Комментариев
171
Комментариев
155
Комментариев
137
Комментариев
123
Комментариев
97
Комментариев
97
Комментариев
93
Комментариев
80
Комментариев
70
Комментариев
67
Комментариев
60
Комментариев
55
Комментариев
52
Комментариев
49
Комментариев
45
Комментариев
44

Отправьте отзыв!
Отправьте отзыв!