Независимый обзор "внутренностей" Google

Россия+7 (495) 960-65-87
Шрифт:
0 1486

Независимый исследователь Тоби Ди Паскуале представил инфраструктуру Google в виде веб-презентации. В ней содержится информация о ключевых технологиях ндексации, хранения и обработки информации, содержащейся в интернете, а также выполнения поисковых запросов. Презентация была представлена на витруальной конференции PLUG – Philadelphia Linux User Group (филадельфийская группа пользователь Linux)в августе 2006 года, а выложена в Сети совсем недавно. На тот момент г-н Ди Паскуале работал в корпорации Symantec главным специалистом по программному обеспечению, поэтому в фокусе его внимания оказалась именно поисковая архитектура Google и такие её элементы, как: файловая система, аппаратная составляющая, алгоритмы параллельной обработки данных и др. В презентации описываются следующие технологии:

  • MapReduce – технология распределенного выполнения программных инструкций, при которой команды выполняются параллельно на множестве компьютеров.
  • BigTable - система управления сверхбольшими базами данных
  • Sawzall – язык для создания скриптов параллельной обработки данных на основе Map Reduce
Указываются также данные о количестве и мощности серверов и другого оборудования. В частности, г-н Ди Паскуале сообщает, что у Google 450 000 дата-серверов, организованных в кластерную структуру. В зависимости от выполняемых задач серверы делятся на:

- обрабатывающие индексную базу
- поддерживающие документацию
- сервера проверки орфографии
- другие.

Ди Паскуале акцентировано дистанцируется от аспектов работы Google, связанных с поисковой оптимизацей, таких, как ссылочное ранжирование и Page Rank. Также он заявляет, что ни сам, ни кто-либо из его знакомых в штате Google не состоят, вся информация получена им благодаря двухгодичным исследованиям поискового гиганта. Публикуемые им цифры и факты помогают понять, как высоки информационные мощности Google, а также составить представление о сложности конкурирования с ним.

Так, синхронизация и параллелизация процессов накопления и выдачи информации позволяет Google избежать феноменов, подобных апдейту у Яндекса, когда выдача поисковика меняется в течение нескольких часов. Яндекс также применяет технологию распараллеливания, но у отечественного сервиса она ограничивается одновременным поиском информации в специализированных базах (коллекциях), предлагаемых поисковой системой. Поиск осущесвляется по отдельным базам небольшого размера, отличная от "большой" базы документов. Подразумевается, что документы, индексируемые в такой базе, имеют некоторую регулярную структуру.

Репликация (размножение) коллекции по машинам у Яндекса не производится, тогда как у Google, согласно наблюдениям г-на Ди Паскуале, реплицирована вообще вся база проиндексированных документов. Кроме того, Google реализует алгоритм одновременной записи данных в файл индексирующим роботом, и чтения из этого файла при выполнении поискового запроса.
Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
    ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
    Кейс: как продвинуть сайт производителя мебели на заказ в Москве
    Art Moderator
    2
    комментария
    0
    читателей
    Полный профиль
    Art Moderator -
    Рейтинг «Известность бренда SEO-компаний 2017»: народное голосование
    Гость
    1
    комментарий
    0
    читателей
    Полный профиль
    Гость - 1) Ingate 2) Ашманов 3) Кокос 4) Russian Promo 5) Netpeak
    32 инструмента в помощь SEO-специалисту
    Chaser
    1
    комментарий
    0
    читателей
    Полный профиль
    Chaser - Рекомендую бесплатную альтернативу Frog и Netpeak - SiteAnalyzer ( site-analyzer.ru/ ) Странно что не включили в обзор
    Второе дыхание ссылочного продвижения
    Rookee.ru
    24
    комментария
    0
    читателей
    Полный профиль
    Rookee.ru - Еще лучше, когда продвижение осуществляется комплексно :)
    Исследование: влияние smart-ссылок на продвижение по СЧ-запросам
    Анатолий Шевчик
    1
    комментарий
    0
    читателей
    Полный профиль
    Анатолий Шевчик - +1097988
    Контекст под SEO. Как поисковая реклама помогает позициям в органической выдаче
    Сергей Дембицкий «Sima-Land.ru»
    22
    комментария
    0
    читателей
    Полный профиль
    Сергей Дембицкий «Sima-Land.ru» - Боже мой, неужели SEO-маги вернулись??? Открыть в роботс utm-метки для индексации и наплодить дублей...что? А расчеты в конце статьи про бюджет на SEO и контекст...откуда эти пропорции? Как по мне, SEO-магия вне Хогвартс. Спасибо, развеселили!
    Все, что нужно SEO-специалисту. Обзор инструментов
    Администратор Сайта
    1
    комментарий
    1
    читатель
    Полный профиль
    Администратор Сайта - Шаришь в seo! Сервис реально хороший
    Какая боль: ТОП 10 типичных ошибок в SEO
    Alex Fri
    1
    комментарий
    0
    читателей
    Полный профиль
    Alex Fri - Отличная статья, прикольные гифки - вносят разнообразие и прекрасно визуализируют контент))
    4 способа быстро собрать теги для сайта
    Рустем Низамутинов
    5
    комментариев
    0
    читателей
    Полный профиль
    Рустем Низамутинов - Расписал и закинул в Google Docs, а то здесь в комментариях ссылки на активны. docs.google.com/document/d/1r0TZLNrQyYLdIzDQsD5YKlMG41HUGQgEep3bxE_ij-M/edit?usp=sharing
    Яндекс: как мы модерируем объявления
    Гость
    5
    комментариев
    0
    читателей
    Полный профиль
    Гость - Это ж Яндекс, чего вы ожидали-то? Коммерческая структура с раздутым штатом, задачей которой является заработать больше денег. Любыми методами. Задача всех пользователей посадить на Директ, даже если придется разрушить суть рунета, реализуется по полной программе. Все возражающие караются и выпиливаются. И каждый из сотрудников делает все возможное и невозможное, чтобы реализовать любую дурацкую идею - за это еще и премию выхватить можно. Даже если потом придется выполнять "откат", премиальные уже заплачены. Так было с одним из фильтров Яндекса, так было с купленным им сайтом Кинопоиска, который из русскоязычной энциклопедии кино был превращен за безумные деньги в банальный платный онлайн-кинотеатр.
    ТОП КОММЕНТАТОРОВ
    Комментариев
    910
    Комментариев
    834
    Комментариев
    554
    Комментариев
    540
    Комментариев
    483
    Комментариев
    373
    Комментариев
    322
    Комментариев
    262
    Комментариев
    234
    Комментариев
    171
    Комментариев
    156
    Комментариев
    137
    Комментариев
    121
    Комментариев
    97
    Комментариев
    97
    Комментариев
    95
    Комментариев
    86
    Комментариев
    80
    Комментариев
    67
    Комментариев
    60
    Комментариев
    59
    Комментариев
    57
    Комментариев
    55
    Комментариев
    54
    Комментариев
    53

    Отправьте отзыв!
    Отправьте отзыв!