×
Россия +7 (495) 139-20-33

Покажите вашему сеошнику. Что не так со Screaming Frog SEO Spider

Россия +7 (495) 139-20-33
Шрифт:
1 3001
Подпишитесь на нас в Telegram

Меня зовут Павел Кондрашов, я ведущий менеджер по SEO в i-Media. Мы помогаем компаниям находить клиентов из поиска и делаем так, чтобы сайт приносил продажи. В статье расскажу, как я выявил неспособность Screaming Frog эмулировать ботов Яндекса. Материал будет полезен как новичкам, так и опытным специалистам.

Слишком много пустых тегов

В процессе парсинга сайта клиента я обнаружил необычно большое количество пустых тегов title на страницах, которые должны быть закрыты от индексации. Стал думать, с чем это может быть связано. Подозрение пало на robots.txt.

Пустые теги

Из скрина видно, что пустых тегов чуть меньше 50%, что кратно выше нормы

С помощью Вебмастера и служебного файла посмотрел, учитывает ли программа необходимую директиву. Гипотеза не подтвердилась, файл был корректен, но проблема не исчезла.

Проверка файла

Затем я предположил, что при парсинге у меня было включено игнорирование файла во фроге. Но здесь тоже все было в порядке.

Проверка файла

Из скрина видно, что программа учитывает robots при парсинге, а значит проблема не в выбранной настройке

Затем мне пришла идея – сравнить в каком из user-agent в robots.txt сайта расположена закрывающая директива и какого user-agent эмулирует Frog. Оказалось, что в robots.txt, директива стоит только для user-agent Yandex bot, а в Screaming Frog Google bot. Чтобы проверить гипотезу, поменял Google bot на Yandex bot, запустил парсинг, но страницы остались.

Проверка файла

Все оказалось куда интереснее

На этом идеи закончились. Я обращался к коллегам, но никто ранее не встречался с такой проблемой и советовали сделать то, что уже проверил и не сработало. Тогда я решил сравнить список ботов, указанных в Яндекс Справке со списком в Screaming Frog. Они были одинаковые. Затем сравнил версии, так как подумал, что во фроге была не последняя. Но нет.

После некоторого времени раздумий появилась гипотеза о неспособности Screaming Frog эмулировать ботов Яндекса. Это бы означало, что самый популярный и известный инструмент SEO-специалиста не такой уж универсальный.

User-agent в Яндекс Справке

User-agent в Яндекс Справке полностью совпадал с указанным в Screaming Frog

Чтобы убедиться в гипотезе, я добавил кастомный файл robots.txt в Screaming Frog. Он содержал директиву, закрывающую страницу от индексации для всех user-agent. Все заработало, страницы перестали попадать в Screaming Frog.

страницы пропали

И, наконец-то, страницы пропали

Бот Яндекса 1:0 Screaming Frog

Этот случай выявил неспособность Screaming Frog эмулировать ботов Яндекса, а значит, аналитики и оптимизаторы должны быть внимательны к возможным ограничениям инструментов и проверять полученные данные в Яндекс Мастере. Только так можно обеспечить точность результатов и гарантировать эффективные шаги по улучшению показателей веб-ресурсов.

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Гость
    1
    комментарий
    0
    читателей
    Гость
    5 дней назад
    давно не смотрю на данные я-вебмастера как важные и не советую клиентам делать на их основании выводы.
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
28 способов повысить конверсию интернет-магазина
Татьяна
1
комментарий
0
читателей
Полный профиль
Татьяна - Очень действенные рекомендации представлены в статье! Всё четко расписано и легко внедряемо в работу интернет-магазинов.Удобство и наглядность+различные бонусы и скидки-именно то, что и цепляет покупателя.
5 способов увидеть сайт глазами поисковика: анализируем скрытый контент и cloaking
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Сейчас клоаку прячут, так что под нее можно глянуть только с гуггловских ip. Сейчас только гуггл сервисами можно глянуть
7 актуальных сервисов для анализа сайта: сравнительная характеристика
Jenimeon
1
комментарий
0
читателей
Полный профиль
Jenimeon - SimilarWeb один из моих фаворитов, частенько им пользуюсь. Ценник не малый, но функционал хороший. Be1 тоже годный.
Какие сайты лидировали в поиске Яндекса и Google в 2023 году
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Если что по рейтингу вы не правы, есть ядро по которому производиться оценка и вы можете по нему самостоятельно все посмотреть. Единственный объективный рейтинг по SEO. Других не знаю Ну я вам скажу что это не так и в предыдущие года сайт моего клиента попадал в рейтинг, при чем несколько раз. И я прекрасно знал еще до объявления результатов кто лидер - рейтинг прозрачный, есть фразы по которым набираются баллы. В этом году наш сайт не попал в рейтинг например и это было понятно, что не попадет (по статистике позиций)
Как онлайн-магазинам получать максимум трафика с помощью Поиска по товарам Яндекса
Гость из Тюмени
1
комментарий
0
читателей
Полный профиль
Гость из Тюмени - Производим пиломатериалы под заказ, от 1 до 14 дней. Яндекс постоянно банит наш яндекс фид по причине отсутствия товара на складе во время своих тайных проверок. Не возможно донести до модератора, что мы работаем под заказ, поэтому товара нет на складе, т.е. пришёл заказ - мы изготовили.
Создали ресурс для металлургов, который позволяет следить за аналитикой рынка и осуществлять продажи
Наталья Сталь
3
комментария
0
читателей
Полный профиль
Наталья Сталь -
Optimization 2023: текстовый анализ в 2024 году и методы увеличения релевантности страниц
Игорь
1
комментарий
0
читателей
Полный профиль
Игорь - это информация максимум уровня middle seo. что такой проходняк делает в секции hard seo когда-то великой ашмановки, еще и в исполнении токсичного инфоцыгана большая загадка)) ходил последние 5 лет на нее, но больше пожалуй не стоит
5 ошибок отдела продаж, из-за которых вы теряете клиентов
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Крутая статья! Можно еще указать: Работу без CRM-системы - я считаю, что это основа отдела продаж. Потому что не все компании решаются на внедрение отдельно системы для отдела продаж. Но зато можно что то многофункциональное внедрить аспро.клауд или что то подобное
Увеличили трафик в 4 раза с помощью узких ключей и контентного SEO: кейс ОТП Банка
Бурлуцкий Сергей
1
комментарий
0
читателей
Полный профиль
Бурлуцкий Сергей - В работе по ссылочному делаем упор по получению естественных ссылок в сочетании с краудом. Более подробно об этом мы рассказывали на нашем недавнем митапе - www.youtube.com/watch?v=dbl_vFHWqWQ (Второй доклад).
Простые SEO-работы, которые могут увеличить прибыль компании. Часть 1
roma.lisov
1
комментарий
0
читателей
Полный профиль
roma.lisov - Воспользовался советом по проверке и настройке картинок на сайте – реально дельный совет. Вот вроде и просто, казалось бы, а мне в голову раньше не пришло. А такие нюансы, конечно, нужно знать)
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
386
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
120
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!