Когда в Большом адронном коллайдере в CERN сталкиваются частицы, миллионы датчиков регистрируют происходящее, генерируя около петабайта данных в секунду. Этот объем данных чересчур велик, чтобы хранить его даже во Всемирной grid-сети вычислений и хранения CERN, говорит руководитель отдела ИТ-коммуникаций Жан-Мишель Жуаниго. Поэтому целиком его и не сохраняют.
Большой адронный коллайдер — самый крупный в мире ускоритель частиц, которые сталкиваются в нем друг с другом на скорости 99,9999% от световой. Данные регистрируются на четырех пунктах 27-километрового кольца коллайдера, известных как ATLAS, LHCb, CMS и ALICE. На каждом из них выполняются свои эксперименты и каждый содержит собственную систему сбора данных, состоящую из миллионов датчиков.
Как объясняет Жуаниго, невозможно сохранить все генерируемые данные, но в полном объеме они и не нужны для экспериментов, поэтому CERN попросту удаляет большую их часть.
.jpg) |
| В CERN ОЧЕНЬ гордятся тем, что их вычислительная система работает, как швейцарские часы (Фото: CERN) |
Каждая из четырех систем сбора данных оснащена отдельной серверной фермой для фильтрации событий, отбирающей необходимые данные из всей массы. «Задача при этом — постараться не пропустить что-то интересное», — отмечает Жуаниго. То, что остается, отправляется в головной компьютерный центр по волоконно-оптической сети.
Объемы отфильтрованных данных, порождаемых разными экспериментами, различаются. Самый трафикоемкий — ATLAS, он генерирует 320 Мбайт/с. За ним следуют CMS (220 Мбайт/с), ALICE (100 Мбайт/c) и LHCb (50 Мбайт/с). Эти объемы данных вырабатываются, когда коллайдер сталкивает друг с другом протоны, но, по словам Жуаниго, у ускорителя есть еще один режим работы, когда сталкиваются ионы свинца, гораздо более тяжелые частицы. В этом режиме всеми четырьмя экспериментами генерируется больше данных — примерно 1,25 Гбайт/с в общей сложности.
После фильтрации CERN остается сохранить до 25 Пбайт в год. Большая часть этого объема записывается на ленту в целях экономии энергии: по утверждению Жуаниго, годовой счет научного комплекса за электричество «уступает по величине разве что суммарной зарплате персонала».
Емкость ленточной библиотеки центра обработки данных CERN — 34 Пбайт. Она состоит из 160 накопителей и 45 тыс. картриджей. Жуаниго пользуется ленточными накопителями производства IBM и Oracle/StorageTek, так как, по его сведениям, эти компании выпускают самые вместительные накопители на рынке. Чтобы приобретать системы смены картриджей по выгодной цене, Жуаниго устраивает между IBM и StorageTek конкурсы.
Данные в CERN также хранятся на жестких дисках: общая емкость систем хранения компьютерного центра научного комплекса — 45,4 Пбайт, количество накопителей в нем — 53 728.
Чтобы анализировать весь этот объем, понадобилась бы вычислительная мощность, эквивалентная примерно 100 тыс. самых быстрых процессоров для ПК, но компьютерный центр CERN может обеспечить лишь 20% требуемых ресурсов.
Поэтому остальные данные распределяются между компьютерными центрами по всему миру посредством Всемирной вычислительной grid-сети Большого адронного коллайдера. Частично данные передаются по собственной волоконно-оптической сети CERN, а частично — по арендуемым оптическим каналам в Европе, США и Азиатско-Тихоокеанском регионе.
Вычислительная сеть CERN делится на несколько уровней (Tiers). Нулевой уровень — это Компьютерный центр CERN, который выполняет роль головного концентратора всех данных. Из него информация перемещается на Уровень 1 — кольцо, состоящее из 11 центров обработки данных: два находятся в США; по одному во Франции, Италии, Голландии, Германии, Испании, Великобритании, Канаде и на Тайване; один распределенный ЦОД в Скандинавских странах. Эти центры обрабатывают, анализируют и хранят «сырые» данные, готовя их для Уровня 2, который состоит из примерно 160 центров, используемых учеными для доступа к информации и ее обработки.
Grid-сеть CERN состоит из множества ЦОД по всему миру, но для пользователя она выглядит как единая система. Добиться этого удается благодаря связующему программному обеспечению, которое объединяет оборудование всех центров в grid и представляет его в виде единого гигантского виртуального ресурса.
Все связующее ПО имеет открытый код, основу которого составляет проект инструментария построения grid-сетей Globus Toolkit. В ЦОД в Европе и Азии используется вариант gLite, а в Скандинавских странах применяется программная система ARC. Сегодня grid-сеть CERN способна ежедневно выполнять от 500 тыс. до 1 млн задач, но этот показатель будет неуклонно расти по мере появления в сети новых вычислительных ресурсов и технологий.
Система обработки данных Большого адронного коллайдера бесперебойно работала с самого начала, в отличие от самого коллайдера, в котором после первого запуска вышла из строя большая секция ускорителя из-за некачественного сварочного шва в гелиевой системе охлаждения.