Независимый обзор "внутренностей" Google

Россия+7 (495) 960-65-87
Шрифт:
0 1271

Независимый исследователь Тоби Ди Паскуале представил инфраструктуру Google в виде веб-презентации. В ней содержится информация о ключевых технологиях ндексации, хранения и обработки информации, содержащейся в интернете, а также выполнения поисковых запросов. Презентация была представлена на витруальной конференции PLUG – Philadelphia Linux User Group (филадельфийская группа пользователь Linux)в августе 2006 года, а выложена в Сети совсем недавно. На тот момент г-н Ди Паскуале работал в корпорации Symantec главным специалистом по программному обеспечению, поэтому в фокусе его внимания оказалась именно поисковая архитектура Google и такие её элементы, как: файловая система, аппаратная составляющая, алгоритмы параллельной обработки данных и др. В презентации описываются следующие технологии:

  • MapReduce – технология распределенного выполнения программных инструкций, при которой команды выполняются параллельно на множестве компьютеров.
  • BigTable - система управления сверхбольшими базами данных
  • Sawzall – язык для создания скриптов параллельной обработки данных на основе Map Reduce
Указываются также данные о количестве и мощности серверов и другого оборудования. В частности, г-н Ди Паскуале сообщает, что у Google 450 000 дата-серверов, организованных в кластерную структуру. В зависимости от выполняемых задач серверы делятся на:

- обрабатывающие индексную базу
- поддерживающие документацию
- сервера проверки орфографии
- другие.

Ди Паскуале акцентировано дистанцируется от аспектов работы Google, связанных с поисковой оптимизацей, таких, как ссылочное ранжирование и Page Rank. Также он заявляет, что ни сам, ни кто-либо из его знакомых в штате Google не состоят, вся информация получена им благодаря двухгодичным исследованиям поискового гиганта. Публикуемые им цифры и факты помогают понять, как высоки информационные мощности Google, а также составить представление о сложности конкурирования с ним.

Так, синхронизация и параллелизация процессов накопления и выдачи информации позволяет Google избежать феноменов, подобных апдейту у Яндекса, когда выдача поисковика меняется в течение нескольких часов. Яндекс также применяет технологию распараллеливания, но у отечественного сервиса она ограничивается одновременным поиском информации в специализированных базах (коллекциях), предлагаемых поисковой системой. Поиск осущесвляется по отдельным базам небольшого размера, отличная от "большой" базы документов. Подразумевается, что документы, индексируемые в такой базе, имеют некоторую регулярную структуру.

Репликация (размножение) коллекции по машинам у Яндекса не производится, тогда как у Google, согласно наблюдениям г-на Ди Паскуале, реплицирована вообще вся база проиндексированных документов. Кроме того, Google реализует алгоритм одновременной записи данных в файл индексирующим роботом, и чтения из этого файла при выполнении поискового запроса.

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
    ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
    SEOnews и Serpstat запускают конкурс для интернет-маркетологов
    Marina Lagutina
    1
    комментарий
    0
    читателей
    Полный профиль
    Marina Lagutina - Добрый день! Видимо я из тех, кто пытается последней вскочить в уходящий поезд. Ночью написала статью на тему "обзор инструментов контент-маркетинга". Своего блога нет. Отправила вам не мейл. Я еще могу у вас разместиться или искать, кто возьмет статью к себе в блог?
    «Я оптимизировал сайт, а он не в ТОП! Что делать?»
    Павел Горбунов
    7
    комментариев
    0
    читателей
    Полный профиль
    Павел Горбунов - Как можно в инструменте tools.pixelplus.ru/tools/text-natural сравнить текст со страницы конкурента и со своей страницы? Я вижу возможность только для проверки одного урла.
    Монетизация сайта. Как, когда, сколько?
    Гость2
    1
    комментарий
    0
    читателей
    Полный профиль
    Гость2 - Руслан! Спасибо за ваш сервис и за данную статью в частности! С апреля являюсь вашим пользователем - очень доволен как сервисом, так и уровнем заработка! Еще раз спасибо, удачи вашему проекту!
    Влияние HTTPS на ранжирование региональных поддоменов в Яндексе
    Екатерина Иванова
    1
    комментарий
    0
    читателей
    Полный профиль
    Екатерина Иванова - Посмотрите на сколько упал трафик и на сколько потом вырос:упал на 10-20% на 1 месяц, а вырос в итоге в 5 раз. Одним мартовским трафиком всё падение перекрыли. Или можно ждать Яндекс неопределённое количество времени со стартовым уровнем трафика. Упущенные возможности и всё-такое.
    Мир глазами поисковых систем
    Александр Рунов
    7
    комментариев
    0
    читателей
    Полный профиль
    Александр Рунов - Какой регион, если не секрет? В Мск, в ряде ВК тематик (в тех же "окнах" или "колесах"), без работы с внешними факторами по ВЧ запросам в ТОП не выплывешь. Хотя в большинстве направлений вполне реально.
    Google.ru внесли в реестр запрещенных сайтов
    Гость
    1
    комментарий
    0
    читателей
    Полный профиль
    Гость - Гон, все работает и будет работать. Да и пусть банят, будет как с рутрекером.
    День рождения SEOnews: 12 лет в эфире!
    Анна Макарова
    308
    комментариев
    0
    читателей
    Полный профиль
    Анна Макарова - Ура )
    7 причин не работать на биржах копирайтинга
    Dasha Shkaruba
    6
    комментариев
    0
    читателей
    Полный профиль
    Dasha Shkaruba - Спасибо за мнение! Кстати, на бирже главреда прием анкет закрыт
    Инфографика: самые распространенные SEO-ошибки Рунета
    Alex Wise
    3
    комментария
    0
    читателей
    Полный профиль
    Alex Wise - Спасибо, Женя, за рекомендацию! :) Андрей, чтобы понять, какой программой пользоваться, нужно сделать несколько вещей: 1. Попробовать обе: у нас в Netpeak Spider бесплатный триал на 14 дней с полным функционало; у SFSS до 500 URL всегда бесплатно, но с ограниченным функционалом. 2. Понять свой стиль работы – если вы любите полный контроль и из-за этого более высокую скорость пробивки, тогда выбирайте Netpeak Spider. Если для вас не так важна скорость и количество пробитых URL, то можно остановиться на SFSS. 3. Определиться с нужными функциями: их в обоих программах очень много и как в Netpeak Spider есть уникальные, так и в SFSS есть свои уникальные. Мы всегда ориентируемся на то, чтобы быстро и чётко показать ошибки – для этого у нас вся таблица красится в соответствующие цвета. Думайте!) И, если что, обращайтесь с вопросами – мы будем рады помочь!)
    Интеграция call tracking и CRM: углубленный анализ данных о звонках и продажах
    Денис
    2
    комментария
    0
    читателей
    Полный профиль
    Денис - Какой смысл вообще в облачных CRM, обрезанный фугкционал, свое дописать невозможно, слив клиентов другим компаниям. Серверные бесплатные CRM куда надежней и кастамизируй как хочешь.
    ТОП КОММЕНТАТОРОВ
    Комментариев
    910
    Комментариев
    834
    Комментариев
    554
    Комментариев
    540
    Комментариев
    483
    Комментариев
    373
    Комментариев
    308
    Комментариев
    262
    Комментариев
    224
    Комментариев
    171
    Комментариев
    156
    Комментариев
    137
    Комментариев
    121
    Комментариев
    97
    Комментариев
    97
    Комментариев
    95
    Комментариев
    80
    Комментариев
    77
    Комментариев
    67
    Комментариев
    60
    Комментариев
    59
    Комментариев
    55
    Комментариев
    53
    Комментариев
    52
    Комментариев
    46

    Отправьте отзыв!
    Отправьте отзыв!