П

Поисковый робот

Поисковый робот (также бот, паук или краулер) – программа, используемая поисковой системой для сбора информации. Входит в состав поисковой машины.

Принцип работы

Робот, приходя на сайт, имеет цель как можно быстрее обработать его, поэтому его действия стандартизированы и всегда одинаковы. В первую очередь поисковый робот смотрит специально предназначенный для него файл robots.txt, чтобы не тратить ресурс на индексирование закрытого контента. В дальнейшем, если паук заходит на сайт впервые, он заходит на главную страницу сайта и переходит по указанным на ней ссылкам. Затем он совершает переходы по ссылкам с внутренних страниц и т. п. За каждое посещение поисковый робот редко обходит весь сайт, добираясь до глубоко расположенных страниц, поэтому чем меньше переходов нужно сделать с морды до искомой страницы, тем быстрее она будет индексироваться.

Робот не анализирует найденный контент, а лишь передает его на сервера поисковой системы, где уже и происходит его обработка.

Функции поисковых роботов

В зависимости от поисковой системы перечисленные ниже функции может выполнять как один робот, так и несколько разных.

Сканирование основного контента. Это основная функция поискового робота – нахождение новых страниц и считывание имеющегося на них контента.

Сканирование изображений. В случае, если поисковая система поддерживает поиск изображений, она может иметь отдельного робота для их поиска.

Сканирование зеркал. Отдельный паук для этой цели есть у Яндекса. Этот робот обходит совпадающие по контенту, но имеющие разные адреса сайты. 




Синонимы: Паук, Спайдер, Краулер
Все термины на букву «П»
Все термины в глоссарии

Ссылки по теме

... привычной модели индексации? Согласно исследованию StatCounter, мобильный поисковый трафик уже в 2016 году обогнал десктопный: для поиска пользователи ... ... типы сайтов: Тип сайта Что изменится? Только десктоп Ничего. Поисковый робот Google продолжит индексировать десктопную версию. Однако помните,...

Елизавета Елизавета Лосева
03 Сентября
0 17178

... удалить ее. После этого необходимо направить в Google запрос на повторную проверку. Клоакинг Предоставление разной информации пользователям и поисковым роботам вполне может привести к наложению ручных санкций. Решение проблемы Иногда владелец сайта не виноват. К примеру, если на сайте есть ...

Валерия Валерия Полякова
19 Июля
0 7598

... рендеринга более старую версию Chrome – 41. Это означает, что некоторые функции, поддерживаемые в последних версиях Chrome и других браузерах, поисковый робот должным образом не обрабатывает. Chrome 41 вышел в 2015 году. Так как он не поддерживает новые версии JavaScript и API, Googlebot или вообще не обрабатывает ...

Валерия Валерия Полякова
14 Мая
0 3165

Как не обвалить трафик издания-миллионника [AUTHOR]Мы работаем с поисковой оптимизацией интернет-изданий уже три года. В начале 2017 два ... ... через JavaScript. В итоге страницы не попадают в поиск, поскольку поисковый робот не видит контент, либо индексируется только главная страница. ...

Анна Анна Павлюк
07 Декабря
5 9094

... Илш у себя в Twitter Google поделился документами, которые призваны помочь веб-разработчикам лучше понять, какие данные могут обрабатываться поисковыми роботами. Об этом рассказал представитель компании Гэри Илш у себя в Twitter. We published new docs on rendering and debugging. Check them out NOW! https://t.co/dVE9o0c4ij — Gary "鯨理" ...

Валерия Валерия Полякова
7 Августа 2017
0 3408
Отправьте отзыв!