Многофункциональная SEO-платформа
для профессионалов
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:

Независимый обзор "внутренностей" Google

Россия +7 (495) 960-65-87
Шрифт:
0 1061

Независимый исследователь Тоби Ди Паскуале представил инфраструктуру Google в виде веб-презентации. В ней содержится информация о ключевых технологиях ндексации, хранения и обработки информации, содержащейся в интернете, а также выполнения поисковых запросов. Презентация была представлена на витруальной конференции PLUG – Philadelphia Linux User Group (филадельфийская группа пользователь Linux)в августе 2006 года, а выложена в Сети совсем недавно. На тот момент г-н Ди Паскуале работал в корпорации Symantec главным специалистом по программному обеспечению, поэтому в фокусе его внимания оказалась именно поисковая архитектура Google и такие её элементы, как: файловая система, аппаратная составляющая, алгоритмы параллельной обработки данных и др. В презентации описываются следующие технологии:

  • MapReduce – технология распределенного выполнения программных инструкций, при которой команды выполняются параллельно на множестве компьютеров.
  • BigTable - система управления сверхбольшими базами данных
  • Sawzall – язык для создания скриптов параллельной обработки данных на основе Map Reduce
Указываются также данные о количестве и мощности серверов и другого оборудования. В частности, г-н Ди Паскуале сообщает, что у Google 450 000 дата-серверов, организованных в кластерную структуру. В зависимости от выполняемых задач серверы делятся на:

- обрабатывающие индексную базу
- поддерживающие документацию
- сервера проверки орфографии
- другие.

Ди Паскуале акцентировано дистанцируется от аспектов работы Google, связанных с поисковой оптимизацей, таких, как ссылочное ранжирование и Page Rank. Также он заявляет, что ни сам, ни кто-либо из его знакомых в штате Google не состоят, вся информация получена им благодаря двухгодичным исследованиям поискового гиганта. Публикуемые им цифры и факты помогают понять, как высоки информационные мощности Google, а также составить представление о сложности конкурирования с ним.

Так, синхронизация и параллелизация процессов накопления и выдачи информации позволяет Google избежать феноменов, подобных апдейту у Яндекса, когда выдача поисковика меняется в течение нескольких часов. Яндекс также применяет технологию распараллеливания, но у отечественного сервиса она ограничивается одновременным поиском информации в специализированных базах (коллекциях), предлагаемых поисковой системой. Поиск осущесвляется по отдельным базам небольшого размера, отличная от "большой" базы документов. Подразумевается, что документы, индексируемые в такой базе, имеют некоторую регулярную структуру.

Репликация (размножение) коллекции по машинам у Яндекса не производится, тогда как у Google, согласно наблюдениям г-на Ди Паскуале, реплицирована вообще вся база проиндексированных документов. Кроме того, Google реализует алгоритм одновременной записи данных в файл индексирующим роботом, и чтения из этого файла при выполнении поискового запроса.

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
23 действительно эффективных совета по продвижению интернет-магазина
Гость - Троль Гуру паНгинации - Что такое паНгинация?))))
Как построить качественную ссылочную массу сайта
Анна Фра
1
комментарий
0
читателей
Полный профиль
Анна Фра - www.youtube.com/watch?v=jtINdDyNdFU полезное видео
Анализ ссылок: сравнение многофункциональных платформ по размеру их баз
Андрей Ольшевский - Очень неточная статистика, объясню почему. Довольно часто делаю анализ сайтов на качество и объём ссылочной массы. Всегда делаю выгрузку из трех источников – Вебмастера Яндекса, сервиса Мегаиндекс, сервиса Линкпад. Потом с помощи алгоритмов и функции Excel отсеиваются много дублей, битых ссылок, несуществующих урл и тп. Как показала практика, вебмастера Яндекса вполне достаточно, там вся информация и она самая актуальная, в других сервисах куча мусора, а нового, чтоб было найдено и проиндексировано ПС - очень мало. Поэтому мирятся количеством в данном анализе не профессионально.
Как создать интернет-магазин: сколько стоит открытие?
Гость - да у битрикса что ни обновление - то сплошные баги. недавно знакомый обновился на лицензии интернет-магазина, про***лись заказы за последнюю неделю, слетели все связи по складам. одним словом, жопа. при этом обновился на сразу, а спустя месяц после выкатывания, надеялся, успеют все поправить
ТОП-10 автоматизированных сервисов контекстной рекламы
Гость - Не доверяйте свои данные системам от агентств, если рекламу у них вы не ведете. Юзал алитикс и к50. Пробуйте эти две системы как мин. А лучше всего автоматизировать с помощью эксель, pbi и подобных сервисов. Но пока это сложно для большинства
Как упростить продвижение вечными ссылками?
Coursh - Зарегестрировался. Накинули 1100 рубликов за пополнение на 10к. Очень неплохо!
Кому и зачем нужен маркетплейс от Яндекса
Дарья Калинская
209
комментариев
0
читателей
Полный профиль
Дарья Калинская - Максим, спасибо, рада, что статья оказалась полезной )
Конкурс: угадай победителя рейтинга «Известность бренда SEO-компаний»
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Оптимизм Дэмис Кокос Ашманов и Партнеры Раш эдженси
Кейс: как молодому сайту увеличить органический трафик с 0 до 10 000 посетителей за 6 месяцев
Олег Буряк
38
комментариев
0
читателей
Полный профиль
Олег Буряк - Никаких санкций!!!! на сайт за резкий скачок уникальных естественных ссылок !!!не было наложено!!!. Все дальше читать не буду! УДАЧИ Вам! кошмар!
Инструкция по применению: обзор сервиса обратного звонка Callbackhunter
Ирина - Ну вообще колбэкхантер самый дорогой сервис из всех, есть более дешевые аналоги
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
285
Комментариев
262
Комментариев
209
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
123
Комментариев
97
Комментариев
97
Комментариев
95
Комментариев
80
Комментариев
71
Комментариев
67
Комментариев
60
Комментариев
55
Комментариев
52
Комментариев
50
Комментариев
45
Комментариев
44

Отправьте отзыв!
Отправьте отзыв!