П

Поисковый робот

Поисковый робот (также бот, паук или краулер) – программа, используемая поисковой системой для сбора информации. Входит в состав поисковой машины.

Принцип работы

Робот, приходя на сайт, имеет цель как можно быстрее обработать его, поэтому его действия стандартизированы и всегда одинаковы. В первую очередь поисковый робот смотрит специально предназначенный для него файл robots.txt, чтобы не тратить ресурс на индексирование закрытого контента. В дальнейшем, если паук заходит на сайт впервые, он заходит на главную страницу сайта и переходит по указанным на ней ссылкам. Затем он совершает переходы по ссылкам с внутренних страниц и т. п. За каждое посещение поисковый робот редко обходит весь сайт, добираясь до глубоко расположенных страниц, поэтому чем меньше переходов нужно сделать с морды до искомой страницы, тем быстрее она будет индексироваться.

Робот не анализирует найденный контент, а лишь передает его на сервера поисковой системы, где уже и происходит его обработка.

Функции поисковых роботов

В зависимости от поисковой системы перечисленные ниже функции может выполнять как один робот, так и несколько разных.

Сканирование основного контента. Это основная функция поискового робота – нахождение новых страниц и считывание имеющегося на них контента.

Сканирование изображений. В случае, если поисковая система поддерживает поиск изображений, она может иметь отдельного робота для их поиска.

Сканирование зеркал. Отдельный паук для этой цели есть у Яндекса. Этот робот обходит совпадающие по контенту, но имеющие разные адреса сайты. 




Синонимы: Паук, Спайдер, Краулер
Все термины на букву «П»
Все термины в глоссарии

Ссылки по теме

Как не обвалить трафик издания-миллионника [AUTHOR]Мы работаем с поисковой оптимизацией интернет-изданий уже три года. В начале 2017 два ... ... через JavaScript. В итоге страницы не попадают в поиск, поскольку поисковый робот не видит контент, либо индексируется только главная страница. ...

Анна Анна Павлюк
07 Декабря
5 7131

... Илш у себя в Twitter Google поделился документами, которые призваны помочь веб-разработчикам лучше понять, какие данные могут обрабатываться поисковыми роботами. Об этом рассказал представитель компании Гэри Илш у себя в Twitter. We published new docs on rendering and debugging. Check them out NOW! https://t.co/dVE9o0c4ij — Gary "鯨理" ...

Валерия Валерия Полякова
07 Августа
0 3143

... Если брать упрощенно, каннибализация ключевых слов возникает, когда поисковые системы начинают лучше ранжировать новую станицу вместо старой.... ... основной страницы и страницы-каннибала таким образом, чтоб поисковый робот мог точно определить, какие запросы советуют страницам сайта. ...

Павел Павел Усик
21 Июня
10 9405

... утвердительным, то такая структура и будет самой эффективной с точки зрения SEO. Если использовать «вертикальный» принцип группировки страниц, то поисковый робот Google, переходя по ссылкам и анализируя контент, будет быстрее и точнее выявлять содержимое страницы. Вес страницы Известно, что каждая ...

Дарья Дарья Калинская
2 Ноября 2016
3 4893

... добиться быстрой индексации страниц? Поселить на сайте быстроробота Чтобы страницы индексировались сразу после публикации, нужно, чтобы поисковый робот как можно чаще посещал сайт. Для того чтобы поселить на сайте быстроробота, была поставлена цель «публиковать 1 новую страницу в день»....

Виктория Виктория Пономарёва
10 Октября 2016
9 7091
Отправьте отзыв!