Хочешь повысить отдачу от Директа?
Включи «Автопилот»
П

Поисковый робот

Поисковый робот (также бот, паук или краулер) – программа, используемая поисковой системой для сбора информации. Входит в состав поисковой машины.

Принцип работы

Робот, приходя на сайт, имеет цель как можно быстрее обработать его, поэтому его действия стандартизированы и всегда одинаковы. В первую очередь поисковый робот смотрит специально предназначенный для него файл robots.txt, чтобы не тратить ресурс на индексирование закрытого контента. В дальнейшем, если паук заходит на сайт впервые, он заходит на главную страницу сайта и переходит по указанным на ней ссылкам. Затем он совершает переходы по ссылкам с внутренних страниц и т. п. За каждое посещение поисковый робот редко обходит весь сайт, добираясь до глубоко расположенных страниц, поэтому чем меньше переходов нужно сделать с морды до искомой страницы, тем быстрее она будет индексироваться.

Робот не анализирует найденный контент, а лишь передает его на сервера поисковой системы, где уже и происходит его обработка.

Функции поисковых роботов

В зависимости от поисковой системы перечисленные ниже функции может выполнять как один робот, так и несколько разных.

Сканирование основного контента. Это основная функция поискового робота – нахождение новых страниц и считывание имеющегося на них контента.

Сканирование изображений. В случае, если поисковая система поддерживает поиск изображений, она может иметь отдельного робота для их поиска.

Сканирование зеркал. Отдельный паук для этой цели есть у Яндекса. Этот робот обходит совпадающие по контенту, но имеющие разные адреса сайты. 

Синонимы: Паук, Спайдер, Краулер
Все термины на букву «П»
Все термины в глоссарии

Ссылки по теме

... Илш у себя в Twitter Google поделился документами, которые призваны помочь веб-разработчикам лучше понять, какие данные могут обрабатываться поисковыми роботами. Об этом рассказал представитель компании Гэри Илш у себя в Twitter. We published new docs on rendering and debugging. Check them out NOW! https://t.co/dVE9o0c4ij — Gary "鯨理" ...

Валерия Валерия Полякова
07 Августа
0 2673

... Если брать упрощенно, каннибализация ключевых слов возникает, когда поисковые системы начинают лучше ранжировать новую станицу вместо старой.... ... основной страницы и страницы-каннибала таким образом, чтоб поисковый робот мог точно определить, какие запросы советуют страницам сайта. ...

Павел Павел Усик
21 Июня
10 5878

... утвердительным, то такая структура и будет самой эффективной с точки зрения SEO. Если использовать «вертикальный» принцип группировки страниц, то поисковый робот Google, переходя по ссылкам и анализируя контент, будет быстрее и точнее выявлять содержимое страницы. Вес страницы Известно, что каждая ...

Дарья Дарья Калинская
02 Ноября
3 4190

... добиться быстрой индексации страниц? Поселить на сайте быстроробота Чтобы страницы индексировались сразу после публикации, нужно, чтобы поисковый робот как можно чаще посещал сайт. Для того чтобы поселить на сайте быстроробота, была поставлена цель «публиковать 1 новую страницу в день»....

Виктория Виктория Пономарёва
10 Октября
9 6371

... определенному запросу в выдаче остается только один ресурс на усмотрение поисковой машины). Но этого можно избежать, если следовать рекомендациям ... .... Контент сайта не меняется в зависимости от устройства, и поисковый робот видит одинаковый html-код как на смартфоне, так и настольном компьютере....

Ольга Ольга Булгакова
25 Августа 2016
8 5992
Отправьте отзыв!