П

Поисковый робот

Поисковый робот (также бот, паук или краулер) – программа, используемая поисковой системой для сбора информации. Входит в состав поисковой машины.

Принцип работы

Робот, приходя на сайт, имеет цель как можно быстрее обработать его, поэтому его действия стандартизированы и всегда одинаковы. В первую очередь поисковый робот смотрит специально предназначенный для него файл robots.txt, чтобы не тратить ресурс на индексирование закрытого контента. В дальнейшем, если паук заходит на сайт впервые, он заходит на главную страницу сайта и переходит по указанным на ней ссылкам. Затем он совершает переходы по ссылкам с внутренних страниц и т. п. За каждое посещение поисковый робот редко обходит весь сайт, добираясь до глубоко расположенных страниц, поэтому чем меньше переходов нужно сделать с морды до искомой страницы, тем быстрее она будет индексироваться.

Робот не анализирует найденный контент, а лишь передает его на сервера поисковой системы, где уже и происходит его обработка.

Функции поисковых роботов

В зависимости от поисковой системы перечисленные ниже функции может выполнять как один робот, так и несколько разных.

Сканирование основного контента. Это основная функция поискового робота – нахождение новых страниц и считывание имеющегося на них контента.

Сканирование изображений. В случае, если поисковая система поддерживает поиск изображений, она может иметь отдельного робота для их поиска.

Сканирование зеркал. Отдельный паук для этой цели есть у Яндекса. Этот робот обходит совпадающие по контенту, но имеющие разные адреса сайты. 




Синонимы: Паук, Спайдер, Краулер
Все термины на букву «П»
Все термины в глоссарии

Ссылки по теме

... рендеринга более старую версию Chrome – 41. Это означает, что некоторые функции, поддерживаемые в последних версиях Chrome и других браузерах, поисковый робот должным образом не обрабатывает. Chrome 41 вышел в 2015 году. Так как он не поддерживает новые версии JavaScript и API, Googlebot или вообще не обрабатывает ...

Валерия Валерия Полякова
14 Мая
0 3016

Как не обвалить трафик издания-миллионника [AUTHOR]Мы работаем с поисковой оптимизацией интернет-изданий уже три года. В начале 2017 два ... ... через JavaScript. В итоге страницы не попадают в поиск, поскольку поисковый робот не видит контент, либо индексируется только главная страница. ...

Анна Анна Павлюк
07 Декабря
5 8274

... Илш у себя в Twitter Google поделился документами, которые призваны помочь веб-разработчикам лучше понять, какие данные могут обрабатываться поисковыми роботами. Об этом рассказал представитель компании Гэри Илш у себя в Twitter. We published new docs on rendering and debugging. Check them out NOW! https://t.co/dVE9o0c4ij — Gary "鯨理" ...

Валерия Валерия Полякова
07 Августа
0 3252

... Если брать упрощенно, каннибализация ключевых слов возникает, когда поисковые системы начинают лучше ранжировать новую станицу вместо старой.... ... основной страницы и страницы-каннибала таким образом, чтоб поисковый робот мог точно определить, какие запросы советуют страницам сайта. ...

Павел Павел Усик
21 Июня 2017
10 10162

... утвердительным, то такая структура и будет самой эффективной с точки зрения SEO. Если использовать «вертикальный» принцип группировки страниц, то поисковый робот Google, переходя по ссылкам и анализируя контент, будет быстрее и точнее выявлять содержимое страницы. Вес страницы Известно, что каждая ...

Дарья Дарья Калинская
2 Ноября 2016
3 5135
Отправьте отзыв!