Новая система индексирования называется Caffeine и должна снизить задержку между индексацией содержимого страниц всемирной сети и попаданием их в результаты поиска Google буквально до нескольких секунд.

Автоматические системы Google ежедневно обходят назначенные участки Web, индексируют их содержимое и обновляют данные в общей базе. До создания Caffeine обновление производилось с определенным интервалом. Когда Google только начинала работу, результаты добавлялись в индекс лишь раз в четыре месяца. С 2000 года индексирование проводилось ежемесячно. Этот процесс занимал не меньше недели, и не все центры обработки данных Google получали новые данные одновременно. Поэтому поиск мог выдавать разные результаты в зависимости от того, какой из центров обрабатывал запрос. Caffeine позволяет обновлять индекс непрерывно, и результаты сразу отображаются в поиске. Кроме того, Caffeine намного увеличивает возможности масштабирования. Google теперь сможет индексировать порядка 100 петабайт документов, утверждают в компании, и новая информация добавляется в систему со скоростью нескольких сот тысяч гигабайт в сутки.

Поделитесь материалом с коллегами и друзьями