Рекламные кампании для вашего бизнеса
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
А Б В Г Д Е Ё Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ы Ь Э Ю Я
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 0-9
П

Поисковый робот

Поисковый робот (также бот, паук или краулер) – программа, используемая поисковой системой для сбора информации. Входит в состав поисковой машины.

Принцип работы

Робот, приходя на сайт, имеет цель как можно быстрее обработать его, поэтому его действия стандартизированы и всегда одинаковы. В первую очередь поисковый робот смотрит специально предназначенный для него файл robots.txt, чтобы не тратить ресурс на индексирование закрытого контента. В дальнейшем, если паук заходит на сайт впервые, он заходит на главную страницу сайта и переходит по указанным на ней ссылкам. Затем он совершает переходы по ссылкам с внутренних страниц и т. п. За каждое посещение поисковый робот редко обходит весь сайт, добираясь до глубоко расположенных страниц, поэтому чем меньше переходов нужно сделать с морды до искомой страницы, тем быстрее она будет индексироваться.

Робот не анализирует найденный контент, а лишь передает его на сервера поисковой системы, где уже и происходит его обработка.

Функции поисковых роботов

В зависимости от поисковой системы перечисленные ниже функции может выполнять как один робот, так и несколько разных.

Сканирование основного контента. Это основная функция поискового робота – нахождение новых страниц и считывание имеющегося на них контента.

Сканирование изображений. В случае, если поисковая система поддерживает поиск изображений, она может иметь отдельного робота для их поиска.

Сканирование зеркал. Отдельный паук для этой цели есть у Яндекса. Этот робот обходит совпадающие по контенту, но имеющие разные адреса сайты. 

Синонимы: Паук, Спайдер, Краулер
Все термины на букву «П»
Все термины в глоссарии

Ссылки по теме

... утвердительным, то такая структура и будет самой эффективной с точки зрения SEO. Если использовать «вертикальный» принцип группировки страниц, то поисковый робот Google, переходя по ссылкам и анализируя контент, будет быстрее и точнее выявлять содержимое страницы. Вес страницы Известно, что каждая ...

3 3043

... добиться быстрой индексации страниц? Поселить на сайте быстроробота Чтобы страницы индексировались сразу после публикации, нужно, чтобы поисковый робот как можно чаще посещал сайт. Для того чтобы поселить на сайте быстроробота, была поставлена цель «публиковать 1 новую страницу в день»....

Виктория Пономарёва
10.10.16 в 00:42
8 5040

... определенному запросу в выдаче остается только один ресурс на усмотрение поисковой машины). Но этого можно избежать, если следовать рекомендациям ... .... Контент сайта не меняется в зависимости от устройства, и поисковый робот видит одинаковый html-код как на смартфоне, так и настольном компьютере....

Ольга Булгакова
25.08.16 в 11:54
7 3839

Практические советы по работе с отображением сниппета в поисковой выдаче [AUTHOR] Сниппет представляет собой карточку страницы ... ... не заполнены, а имеющаяся информация на странице не содержит запрос, робот самостоятельно выберет информацию на странице, которую посчитает ...

Александр Федотов
15.06.16 в 11:26
8 6711

Рекомендации по улучшению индексации сайта главными русскоязычными поисковыми системами [AUTHOR] На прошедшей в конце марта конференции eTarget ... ... HTTPS карта доступна по адресу https://unium.ru/sitemap.xml . Это поможет поисковым роботам Google обнаружить переадресацию со старых URL на новые URL и упростит ...

Екатерина Семибратова
09.06.16 в 11:16
4 7176
Отправьте отзыв!