Покажите вашему сеошнику. Что не так со Screaming Frog SEO Spider
Меня зовут Павел Кондрашов, я ведущий менеджер по SEO в i-Media. Мы помогаем компаниям находить клиентов из поиска и делаем так, чтобы сайт приносил продажи. В статье расскажу, как я выявил неспособность Screaming Frog эмулировать ботов Яндекса. Материал будет полезен как новичкам, так и опытным специалистам.
Слишком много пустых тегов
В процессе парсинга сайта клиента я обнаружил необычно большое количество пустых тегов title на страницах, которые должны быть закрыты от индексации. Стал думать, с чем это может быть связано. Подозрение пало на robots.txt.
Из скрина видно, что пустых тегов чуть меньше 50%, что кратно выше нормы
С помощью Вебмастера и служебного файла посмотрел, учитывает ли программа необходимую директиву. Гипотеза не подтвердилась, файл был корректен, но проблема не исчезла.
Затем я предположил, что при парсинге у меня было включено игнорирование файла во фроге. Но здесь тоже все было в порядке.
Из скрина видно, что программа учитывает robots при парсинге, а значит проблема не в выбранной настройке
Затем мне пришла идея – сравнить в каком из user-agent в robots.txt сайта расположена закрывающая директива и какого user-agent эмулирует Frog. Оказалось, что в robots.txt, директива стоит только для user-agent Yandex bot, а в Screaming Frog Google bot. Чтобы проверить гипотезу, поменял Google bot на Yandex bot, запустил парсинг, но страницы остались.
Все оказалось куда интереснее
На этом идеи закончились. Я обращался к коллегам, но никто ранее не встречался с такой проблемой и советовали сделать то, что уже проверил и не сработало. Тогда я решил сравнить список ботов, указанных в Яндекс Справке со списком в Screaming Frog. Они были одинаковые. Затем сравнил версии, так как подумал, что во фроге была не последняя. Но нет.
После некоторого времени раздумий появилась гипотеза о неспособности Screaming Frog эмулировать ботов Яндекса. Это бы означало, что самый популярный и известный инструмент SEO-специалиста не такой уж универсальный.
User-agent в Яндекс Справке полностью совпадал с указанным в Screaming Frog
Чтобы убедиться в гипотезе, я добавил кастомный файл robots.txt в Screaming Frog. Он содержал директиву, закрывающую страницу от индексации для всех user-agent. Все заработало, страницы перестали попадать в Screaming Frog.
И, наконец-то, страницы пропали
Бот Яндекса 1:0 Screaming Frog
Этот случай выявил неспособность Screaming Frog эмулировать ботов Яндекса, а значит, аналитики и оптимизаторы должны быть внимательны к возможным ограничениям инструментов и проверять полученные данные в Яндекс Мастере. Только так можно обеспечить точность результатов и гарантировать эффективные шаги по улучшению показателей веб-ресурсов.
Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой
-
давно не смотрю на данные я-вебмастера как важные и не советую клиентам делать на их основании выводы.
![](/images/avatar/8.png)
![](/upload/resize_cache/main/40b/60_60_2/40ba9e6ccd40245b03725d4fb1487296.jpg)
![](/upload/resize_cache/main/713/60_60_2/713cf673b9cc25f51e3ab30512c44960.jpg)
![](/images/avatar/5.png)
![](/upload/resize_cache/main/713/60_60_2/713cf673b9cc25f51e3ab30512c44960.jpg)
![](/images/avatar/9.png)
![](/images/avatar/8.png)
![](/images/avatar/9.png)
![](/upload/resize_cache/main/076/60_60_2/07676f60d798d16ad8207d78bc007548.jpeg)
![](/upload/resize_cache/main/40b/60_60_2/40ba9e6ccd40245b03725d4fb1487296.jpg)
![](/images/avatar/3.png)
![](/images/avatar/4.png)
![](/images/avatar/7.png)
![](/upload/resize_cache/main/585/42_42_2/585f431424743e842039591d897b0018.jpg)
![](/upload/resize_cache/main/a7d/42_42_2/a7d58966649e99f3a4bc367b19fdace1.jpg)
![](/upload/resize_cache/main/713/42_42_2/713cf673b9cc25f51e3ab30512c44960.jpg)
![](/upload/resize_cache/main/a8f/42_42_2/a8fff0ebc3ae749f6c6e9235ee028d04.jpg)
![](/images/avatar/2.png)
![](/upload/resize_cache/main/517/42_42_2/5176ed0818edf65ffafd8091d485a4ef.png)
![](/images/avatar/9.png)
![](/upload/resize_cache/main/06d/42_42_2/06deae019622f209c1d2dbf0b02efa26.jpg)
![](/upload/resize_cache/main/c81/42_42_2/c816924d3b35c0fb60ed8597fcf48a5c.jpg)
![](/upload/resize_cache/main/802/42_42_2/802244fb8bbbdf42e704c3d7629712a7.jpg)
![](/upload/resize_cache/main/213/42_42_2/2131d1f6eb6785d43aa67c97635ba6a0.png)
![](/upload/resize_cache/main/d35/42_42_2/d3592bbe1f46c09319b2e411691696ae.jpg)
![](/upload/resize_cache/main/e73/42_42_2/e73ce1fffeff410ec230dab60b43bb2c.jpg)
![](/images/avatar/2.png)
![](/upload/resize_cache/main/974/42_42_2/9748368d2314dfb79ed5da3eaf65c5c4.jpg)
![](/upload/resize_cache/main/950/42_42_2/95075458576d86f53a212f253fa06fae.png)
![](/upload/resize_cache/main/0bc/42_42_2/0bc9321f23deb17434fdc831ed3f9242.jpg)
![](/upload/resize_cache/main/52c/42_42_2/52c72b135acd8f0d14938c084ad5c668.png)
![](/images/avatar/9.png)
![](/images/avatar/3.png)
![](/upload/resize_cache/main/527/42_42_2/5270eff60c8599d94be00b89d941c224.png)