×
Россия +7 (495) 139-20-33

Как Netpeak Spider помогает дополнять автотесты, находить баги и ошибки. Кейс Depositphotos

Россия +7 (495) 139-20-33
Шрифт:
0 3522
Подпишитесь на нас в Telegram

Партнерский материал

Чем больше сайт, тем больше проблем с внутренней оптимизацией может быть даже в банальных вещах. Когда мы имеем проект как Depositphotos с миллионами страниц, он становится достаточно неповоротлив, его трудно контролировать и проверять. Но мы не спешим расстраиваться, потому что Netpeak Spider помогает находить баги, которые появились, даже несмотря на постоянные автотесты. 

Кейс будет полезен тем, кто хочет постоянно мониторить наличие проблем, а особенно в тот момент, когда Product-отдел их вовсю плодит. 

Определите пул страниц для отслеживания 

Здесь важно определить не количество страниц, а их тип и разнообразие. К примеру, если у вас на сайте присутствуют такие типы страниц как: 

То вам наверняка приходилось сталкиваться с поочередной выкаткой этих самых страниц в релиз или уже в live-режиме (зачастую это все делается по неведомой никому причине в пятницу часов так в 6–7 вечера), чтобы утром в понедельник SEO-специалист не расслаблялся. Да и кто ему даст, если уже на выходных он видит просадку? 

В процессе сбора страниц для отслеживания важно еще понимать, что если сайт мультиязычный, то необходимо также включать страницы языков, которые являются приоритетными. К примеру, мы отслеживанием лендинги, страницы товаров, категорий, подкатегорий на разных языках: Ru, SP, Fr, Pt, EN. Список можно расширять, но скорость обработки всех этих страниц будет замедляться. 

Используйте мультиоконность в Netpeak Spider 

Непременно наступит момент, когда найти все баги по списку страниц попросту не выйдет. В таком случае советую открыть еще одно окно в Netpeak Spider и спокойно в 2–10 потоков (а может и больше, если ваш проект сможет выдержать нагрузку) делать переобход страниц в обычном порядке. В обычном сканировании мы чаще всего сталкиваемся с проблемой в hreflang: 

Страницы, на которых есть ссылки с атрибутом hreflang на другие страницы, но нет ссылки на текущие URL

Да, как мы видим hreflang отсутствуют там, где они должны быть. Для обработки по списку первым делом загружаем список этих страниц. Я люблю задавать вручную: 

Ручное добавление страниц для проверки в Netpeak Spider

Далее учитывая специфику проекта, я выбираю бота, которым буду краулить. Снижаю количество потоков, чтобы сайт успел все обрабатывать, иначе мы будем получать 503. Что можно найти при сканировании по списку? 

Создав предварительный фильтр по 404 ошибкам, я обнаружил, что Product-менеджер удалил лендинг /crello.html, а SEO-отдел узнал об этом на выходных. Немало ошибок и ниже по списку. 

Фильтр со страницами, которые ответили 404 кодом, в Netpeak Spider

Я для себя выделяю момент с отсутствующими hreflang, весьма интересно делать связку с Netpeak Checker и смотреть, когда Googlebot закешировал страницу, и видел ли на ней изменения. 

URL, на которых нет есть ссылки с атрибутом hreflang на другие страницы, но нет ссылок на текущий URL

Берем список страниц из Netpeak Spider и идем проверять по ним параметры индексации и кеш. Вот что видим: 

проверка индексации и кеша URL в Google с помощью Netpeak Checker

Не дожидаясь окончания, я уже понял, что с индексацией есть проблемы. Googlebot прошелся и закешировал страницу, тем не менее она не в индексе. Открываем код страницы: 

Проверка hreflang в коде страницы

В hreflang есть значение pt-br домена (которого к слову у нас нет, есть отдельно PT и BR), далее путем несложных манипуляций в Netpeak Spider просмотрим каждую страницу в разрезе hreflang: 

Контекстное меню в таблице Netpeak Spider и пункт с hreflang-ссылкам

Помимо несуществующих языковых версий еще и обнаружим висячие узлы, когда на странице А есть языковой атрибут на страницу В, а на странице В нет: 

Отчёт по hreflang-ссылкам внутри Netpeak Spider

Выделяем URL всех языковых версий в hreflang и снова запускаем сканирование, при этом преследуем уже немного другие цели: 

Отчёт с title и description для различных языковых версий страниц в Netpeak Spider

Что видим? Шаблон title / description явно слетел, так как отличается друг от друга. Какие выводы делаем? Скорее всего, фиксы привели к десинхронизации базы данных, и возможно, есть некоторые моменты с базой и шаблонами переводов.  

Также можно увидеть проблемы с внутренними ссылками – мы очень плотно с ними работаем, допускать пустые анкоры нам совсем ни к чему: 

Отчёт по внутренней перелинковке и анкорам в Netpeak Spider

В случае, когда страница имеет пустой анкор – это либо это картинка, либо ошибка, которая приведет к тому, что робот будет ходить по ней, на нее будет идти вес, но в конечном итоге она создаст дополнительный путь для бота, и в итоге он может устать ходить. 

Но если уже смотреть на ситуацию под углом внутреннего веса, то ссылки без анкоров, как заметила SEO-команда Depositphotos, передают вес куда хуже, чем те, что будут обозначены текстом (если ссылка это не картинка).  

Дальнейшие действия 

Данные можно крутить как душе угодно, самое правильное – это делать хотфиксы. На больших сайтах нужно взять за привычку делать схожие манипуляции, которые помогут быстро обнаружить подобные баги, исправление которых сможет как минимум не резать органический трафик своего же проекта.  

Очень важно понимать принцип, по которому та или иная ошибка появляется, и бороться непосредственно с ним. В случае с UGC это все становится намного интереснее, ведь обычные зарегистрированные юзеры куда опаснее всех продактов вместе взятых. Нужно каждый день мониторить, что они там написывают, и что в итоге видит Google. 

В случае с большими массивами данных не всегда нужно обрабатывать миллионы страниц сразу. Да, это полезно, да, информативно, но порой, чтобы обнаружить проблемы, которые лежат на поверхности, достаточно запустить Netpeak Spider за чашкой кофе, немного поперхнуться от найденных данных, и пойти их фиксить. Если бы Netpeak Spider умел обрабатывать логи, то думаю здоровье SEO-специалистов пошатнулось бы еще больше. 

Узнать больше о том, как повысить качество работы вашей команды над техническим SEO с помощью Netpeak Spider можно по ссылке: 

Друзья, теперь вы можете поддержать SEOnews https://pay.cloudtips.ru/p/8828f772
Ваши донаты помогут нам развивать издание и дальше радовать вас полезным контентом.

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Альманах фатальных ошибок b2b-сайта: как владельцы бизнеса обрекают сайты на бесславное существование. Часть первая
Сергей Ерофеев
3
комментария
0
читателей
Полный профиль
Сергей Ерофеев - Спасибо за комментарий! Вы правы, если за CMS следит заинтересованный профессионал - риски минимальны. Но мы же с вами понимаем, что: а) Не каждый разработчик делает все, как "для себя". б) После создания сайта разработчик редко остается на проекте в) Часто разработчик не является маркетологом. В этом случае принцип "функционал работает и этого достаточно" может быть на первом месте. Мы тоже видели большое количество хороших и качественных проектов на бесплатных CMS, но проблемных проектов мы видели сильно больше. Просто статистика.
Белые и серые методы продвижения. Тренды 2023
sarges
2
комментария
0
читателей
Полный профиль
sarges - Нужно учитывать и тот факт, что со временем методы продвижения меняются и необходимо подстраиваться под новые реалии. Посоветую заглянуть на zenlink.ru/blog/kak-izmenilsja-internet-marketing-za-10-let и почитать статью, там рассказывается о том, как изменился интернет-маркетинг за последние 10 лет, какие сейчас тенденции и какие прогнозы в этой сфере.
Почему сайтам нужно переезжать с конструкторов на полноценные CMS
Seodm.ru
3
комментария
0
читателей
Полный профиль
Seodm.ru - Ааа по мне, сам seo специалист, вероятность внедрения необходимого контента на тильда того же блока этапом работы или преимуществ, намного выше чем на движке. А что тильда что движок малый бизнес норм продвигается особо супер разработки не требуется
Как мы увеличили для клиента трафик из поиска в 7 раз. Кейс
Кирилл Половников
2
комментария
0
читателей
Полный профиль
Кирилл Половников - Оба этих статуса (редирект и малополезная) преобладали в качестве проблем с индексацией. Помогла работа с .htaccess (в нем были ошибки и его чистили), работа над корректировкой редиректов, каноникалами и прочими техническими ошибками. Нельзя сказать, что только редиректы были ключевым препятствием.
Как показывать рекламу посетителям сайтов конкурентов
Павел
2
комментария
0
читателей
Полный профиль
Павел - Спасибо за комментарий. Гипотеза была в том, что с указанными счетчиками конкурентов показы будут не просто похожей аудитории их сайтов (как при рекламе по доменам), а именно на аудиторию которую Яндекс для себя разметил как целевая дл сайтов конкурентов. Важно, это гипотеза. А про белые нитки, как говорится, доверяй, но проверяй))
Как автоматизировать мессенджеры для бизнеса в CRM-системе
Алиналина
1
комментарий
0
читателей
Полный профиль
Алиналина - Кстати да. Но мы зарегались, CRMка реально интересная
Чек-лист: как настроить рекламу в Яндекс Директе и избежать ошибок
Сергей Ильин
2
комментария
0
читателей
Полный профиль
Сергей Ильин - я ваще не туда написал
Кейс MediaNation: увеличили еженедельный трафик автомобильной компании на 50% за год и вышли в топ поиска по 300 запросам
Игорь Скляр
1
комментарий
0
читателей
Полный профиль
Игорь Скляр - Действительно, изначально рост был именно по информационным запросам. Но рост позиций и трафика по информационным запросам положительно повлиял и на связанные позиции по коммерческим запросам и сдвинул видимость с мёртвой точки
Как продвигать интернет-магазин в поисковой выдаче, если она забита маркетплейсами
Олег
1
комментарий
0
читателей
Полный профиль
Олег - Так как все-таки продвигать?)
Как попасть в топ-10 Яндекса и Google при продвижении сайта на регион Молдовы
Гость
9
комментариев
0
читателей
Полный профиль
Гость - "В первое время наши работы продолжали давать результат (сайт несколько месяцев рос), а потом начал постепенно терять позиции. По этой причине заказчик решил возобновить сотрудничество и вернулся в июле 2022. Мы еще ведем работы по восстановлению утраченных результатов." Хитрожопый клиент.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
385
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
116
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!