В 2008 году в Европейском центре ядерных исследований CERN планируется ввести в действие крупнейший в мире ускоритель заряженных частиц Large Hadron Collider (LHC). Исследователи полагают, что его создание позволит получить новые внутриатомные частицы, включая бозоны Хиггса; их открытие сможет подтвердить «стандартную» модель мироздания, принятую в современной физике.
Взаимодействие встречных пучков LHC приведет к столкновениям протонов или тяжелых ионов; каждую секунду будет происходить около 600 тыс. таких столкновений, а суммарный поток информации о событиях, регистрируемых детекторами четырех экспериментальных установок, составит почти 700 Мбайт/с.
Обработка результатов экспериментальных исследований в области физики высоких энергий всегда требовала исключительно высокопроизводительных компьютерных систем. Поэтому ранее в CERN использовались самые мощные для своего времени транзисторные вычислительные машины CDC 6600 и 7600 корпорации Control Data, мэйнфреймы IBM, суперкомпьютеры Cray.
На нынешнем же этапе решено в рамках проекта CERN Openlab построить grid-структуру LHC Computing Grid, которая предоставит возможность тысячам ученых в разных странах мира получать и анализировать данные экспериментов.
Эта структура предусматривает создание трехуровневой архитектуры центров обработки данных. Основная резервная копия информации, полученной в результате проведения экспериментов, будет храниться в вычислительном центре CERN, находящемся на нулевом уровне grid. После начальной обработки эта информация сможет передаваться в 11 крупных европейских, азиатских и американских вычислительных центров первого уровня, обладающих значительными вычислительными ресурсами и мощными системами хранения данных. Более чем 250 университетских центров второго уровня обеспечат доступ физиков к анализу экспериментальных данных.
Для взаимодействия вычислительных ресурсов CERN и центров первого уровня, а также их связи между собой используются 10-гигабитные коммуникационные каналы на основе «темной» волоконной оптики национальных и международных сетей исследовательских организаций.
Результатом первой фазы проекта Openlab, которая завершилась в 2005 году, стало создание в партнерстве с компаниями Enterasys, IBM, Intel, HP и Oracle структуры, получившей название Opencluster, поддерживающей grid-вычисления. В ее состав вошли около сотни двухпроцессорных серверов HP на базе Itanium, 10-гигабитные коммутаторы и маршрутизаторы Enterasys, платформы хранения IBM StorageTank.
В ходе второго этапа реализуется сразу несколько проектов. Один из них, Platform Competence Centre, предусматривает построение вычислительной grid-структуры на базе персональных компьютеров, программных и аппаратных средств виртуализации и оптимизации используемых ресурсов. Недорогие ПК работают под управлением операционной системы Scientific Linux CERN.
Поскольку столкновения частиц происходят независимо от других подобных событий, обработка информации детекторов о каждом из них может производиться в grid-структуре на основе так называемого «тривиального параллелизма».
Программные средства промежуточного слоя обеспечивают автоматический поиск информации в grid-сети и предоставление ученым ресурсов, необходимых для ее обработки. В состав этого слоя включены средства аутентификации и авторизации пользователей, а также брокеры ресурсов, способные определять и предоставлять свободные вычислительные средства для моделирования экспериментов, реконструкции произошедших в ускорителе событий и физического анализа полученных данных. В функции этого программного обеспечения входит также обеспечение безопасности grid-структуры и постоянный мониторинг ее работоспособности. Данные программы, созданные с помощью открытого инструментария Globus Toolkit и содержащие более 1 млн. строк кода, постоянно дорабатываются и совершенствуются.
В настоящее время в компьютерах центра обработки данных CERN установлено 8 тыс. процессоров, в системах хранения используется 40 тыс. дисков, а емкость ленточных библиотек составляет 12 Пбайт.
Для их взаимодействия используется гигабитная локальная сеть, где установлено более тысячи коммутаторов HP ProCurve, 10-гигабитные интерфейсы которых обеспечивают взаимодействие с ядром сети с пропускной способностью около 2,4 Тбит/с. Связь с другими вычислительными центрами осуществляется посредством 10-гигабитных маршрутизаторов компании Force10 Networks.
Постоянную работоспособность уникальной инфраструктуры CERN для проведения физических экспериментов обеспечивают специальные решения. В их состав входит комплекс мониторинга состояния различных компонентов, включая системы электроснабжения, вентиляции, доступа персонала (последние особенно важны в зонах с повышенной радиоактивностью), криогеники и других средств обеспечения функционирования ускорителей. Мониторинг осуществляется резервируемой системой на базе сервера приложений Oracle и корпоративной системы передачи сообщений IBM SonicMQ.
В CERN полагают, что создание ускорителя LHC, работа которого рассчитана не менее чем на 15 лет, не только приведет к физическим открытиям, но и позволит приобрести опыт построения и эксплуатации крупнейшей в мире 10-гигабитной компьютерной сети.