×
Россия +7 (495) 139-20-33

Как Netpeak Spider помогает дополнять автотесты, находить баги и ошибки. Кейс Depositphotos

Россия +7 (495) 139-20-33
Шрифт:
0 4004
Подпишитесь на нас в Telegram

Партнерский материал

Чем больше сайт, тем больше проблем с внутренней оптимизацией может быть даже в банальных вещах. Когда мы имеем проект как Depositphotos с миллионами страниц, он становится достаточно неповоротлив, его трудно контролировать и проверять. Но мы не спешим расстраиваться, потому что Netpeak Spider помогает находить баги, которые появились, даже несмотря на постоянные автотесты. 

Кейс будет полезен тем, кто хочет постоянно мониторить наличие проблем, а особенно в тот момент, когда Product-отдел их вовсю плодит. 

Определите пул страниц для отслеживания 

Здесь важно определить не количество страниц, а их тип и разнообразие. К примеру, если у вас на сайте присутствуют такие типы страниц как: 

То вам наверняка приходилось сталкиваться с поочередной выкаткой этих самых страниц в релиз или уже в live-режиме (зачастую это все делается по неведомой никому причине в пятницу часов так в 6–7 вечера), чтобы утром в понедельник SEO-специалист не расслаблялся. Да и кто ему даст, если уже на выходных он видит просадку? 

В процессе сбора страниц для отслеживания важно еще понимать, что если сайт мультиязычный, то необходимо также включать страницы языков, которые являются приоритетными. К примеру, мы отслеживанием лендинги, страницы товаров, категорий, подкатегорий на разных языках: Ru, SP, Fr, Pt, EN. Список можно расширять, но скорость обработки всех этих страниц будет замедляться. 

Используйте мультиоконность в Netpeak Spider 

Непременно наступит момент, когда найти все баги по списку страниц попросту не выйдет. В таком случае советую открыть еще одно окно в Netpeak Spider и спокойно в 2–10 потоков (а может и больше, если ваш проект сможет выдержать нагрузку) делать переобход страниц в обычном порядке. В обычном сканировании мы чаще всего сталкиваемся с проблемой в hreflang: 

Страницы, на которых есть ссылки с атрибутом hreflang на другие страницы, но нет ссылки на текущие URL

Да, как мы видим hreflang отсутствуют там, где они должны быть. Для обработки по списку первым делом загружаем список этих страниц. Я люблю задавать вручную: 

Ручное добавление страниц для проверки в Netpeak Spider

Далее учитывая специфику проекта, я выбираю бота, которым буду краулить. Снижаю количество потоков, чтобы сайт успел все обрабатывать, иначе мы будем получать 503. Что можно найти при сканировании по списку? 

Создав предварительный фильтр по 404 ошибкам, я обнаружил, что Product-менеджер удалил лендинг /crello.html, а SEO-отдел узнал об этом на выходных. Немало ошибок и ниже по списку. 

Фильтр со страницами, которые ответили 404 кодом, в Netpeak Spider

Я для себя выделяю момент с отсутствующими hreflang, весьма интересно делать связку с Netpeak Checker и смотреть, когда Googlebot закешировал страницу, и видел ли на ней изменения. 

URL, на которых нет есть ссылки с атрибутом hreflang на другие страницы, но нет ссылок на текущий URL

Берем список страниц из Netpeak Spider и идем проверять по ним параметры индексации и кеш. Вот что видим: 

проверка индексации и кеша URL в Google с помощью Netpeak Checker

Не дожидаясь окончания, я уже понял, что с индексацией есть проблемы. Googlebot прошелся и закешировал страницу, тем не менее она не в индексе. Открываем код страницы: 

Проверка hreflang в коде страницы

В hreflang есть значение pt-br домена (которого к слову у нас нет, есть отдельно PT и BR), далее путем несложных манипуляций в Netpeak Spider просмотрим каждую страницу в разрезе hreflang: 

Контекстное меню в таблице Netpeak Spider и пункт с hreflang-ссылкам

Помимо несуществующих языковых версий еще и обнаружим висячие узлы, когда на странице А есть языковой атрибут на страницу В, а на странице В нет: 

Отчёт по hreflang-ссылкам внутри Netpeak Spider

Выделяем URL всех языковых версий в hreflang и снова запускаем сканирование, при этом преследуем уже немного другие цели: 

Отчёт с title и description для различных языковых версий страниц в Netpeak Spider

Что видим? Шаблон title / description явно слетел, так как отличается друг от друга. Какие выводы делаем? Скорее всего, фиксы привели к десинхронизации базы данных, и возможно, есть некоторые моменты с базой и шаблонами переводов.  

Также можно увидеть проблемы с внутренними ссылками – мы очень плотно с ними работаем, допускать пустые анкоры нам совсем ни к чему: 

Отчёт по внутренней перелинковке и анкорам в Netpeak Spider

В случае, когда страница имеет пустой анкор – это либо это картинка, либо ошибка, которая приведет к тому, что робот будет ходить по ней, на нее будет идти вес, но в конечном итоге она создаст дополнительный путь для бота, и в итоге он может устать ходить. 

Но если уже смотреть на ситуацию под углом внутреннего веса, то ссылки без анкоров, как заметила SEO-команда Depositphotos, передают вес куда хуже, чем те, что будут обозначены текстом (если ссылка это не картинка).  

Дальнейшие действия 

Данные можно крутить как душе угодно, самое правильное – это делать хотфиксы. На больших сайтах нужно взять за привычку делать схожие манипуляции, которые помогут быстро обнаружить подобные баги, исправление которых сможет как минимум не резать органический трафик своего же проекта.  

Очень важно понимать принцип, по которому та или иная ошибка появляется, и бороться непосредственно с ним. В случае с UGC это все становится намного интереснее, ведь обычные зарегистрированные юзеры куда опаснее всех продактов вместе взятых. Нужно каждый день мониторить, что они там написывают, и что в итоге видит Google. 

В случае с большими массивами данных не всегда нужно обрабатывать миллионы страниц сразу. Да, это полезно, да, информативно, но порой, чтобы обнаружить проблемы, которые лежат на поверхности, достаточно запустить Netpeak Spider за чашкой кофе, немного поперхнуться от найденных данных, и пойти их фиксить. Если бы Netpeak Spider умел обрабатывать логи, то думаю здоровье SEO-специалистов пошатнулось бы еще больше. 

Узнать больше о том, как повысить качество работы вашей команды над техническим SEO с помощью Netpeak Spider можно по ссылке: 

Друзья, теперь вы можете поддержать SEOnews https://pay.cloudtips.ru/p/8828f772
Ваши донаты помогут нам развивать издание и дальше радовать вас полезным контентом.

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Примеры использования ChatGPT в SEO-стратегии
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Если кто то хочет протестировать Cat GPT в SЕО проектах на базе нашего агенства, приглашаем наудалкнную работу Tg: @thegoodlink
Эффективное продвижение сайтов: 10 лет опыта в SEO в Рунете и Буржунете
Павел Горбунов
11
комментариев
0
читателей
Полный профиль
Павел Горбунов - Вы учтите, что за такие водные статьи хейтеры повалят жесткие. Сеошники воды не любят.
Особенности внутренней перелинковки для крупных сайтов
Злобная булочка
1
комментарий
0
читателей
Полный профиль
Злобная булочка - Ну это ж ингейт)
'SEO глазами клиентов 2023'
Валерия Власова
2
комментария
0
читателей
Полный профиль
Валерия Власова - Приветствую! На момент проверки сайтов клиентов получились такие показатели. Возможно, самостоятельно вы проверяете свои проекты по другим параметрам. Поэтому получились разные результаты.
Увеличили трафик в 4 раза с помощью узких ключей и контентного SEO: кейс ОТП Банка
Бурлуцкий Сергей
1
комментарий
0
читателей
Полный профиль
Бурлуцкий Сергей - В работе по ссылочному делаем упор по получению естественных ссылок в сочетании с краудом. Более подробно об этом мы рассказывали на нашем недавнем митапе - www.youtube.com/watch?v=dbl_vFHWqWQ (Второй доклад).
Что такое Яндекс Советник, и кому от него жить хорошо
Мама Стифлера
1
комментарий
0
читателей
Полный профиль
Мама Стифлера - Вызывает сожаление, что вы не осознаете, что Яндекс.Советник может быть рассмотрен как форма рэкета, которая заставляет компании, размещающиеся в Яндекс.Маркете, выплачивать дополнительные финансовые средства, повышая в конечном итоге прибыль Яндекс.Маркета, но не принесет пользы для посетителей сайта.
Самые быстрорастущие доменные зоны в 2023 году. Исследование RU-CENTER
Станислав
1
комментарий
0
читателей
Полный профиль
Станислав - С 2019 года количество доменов в зоне .ru остается на одном и том же уровне - около 5 млн. Все изменения на уровне 1% от этого объема в плюс или минус
Как быстро улучшить рейтинг компании на сайтах отзовиков
Zorgy Rihard
2
комментария
0
читателей
Полный профиль
Zorgy Rihard - давай я
Как за месяц увеличить количество заявок в 1,7 раза, а их стоимость снизить в 1,6 раза. Кейс
Sputniki
1
комментарий
0
читателей
Полный профиль
Sputniki - Добрый день, Василий. Спасибо за вашу наблюдательность. На самом деле ошибки нет. Если вы сталкивались на практике с выгрузкой заявок из кабинета VK Рекламы, то заметите, что количество заявок не бьется с цифрами по рекламному кабинету (по статистике). Поэтому средняя цена заявки получается ниже чем у самых эффективных трех.
Как онлайн-магазинам получать максимум трафика с помощью Поиска по товарам Яндекса
Санал Эрдни-Горяев
11
комментариев
0
читателей
Полный профиль
Санал Эрдни-Горяев - Это не покупная статья, SEONEWS моргни если Яндекс тебе угрожает баном.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
386
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
119
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!