Одна из форм стимулирования государством инновационного развития экономики – государственные заказы, помогающие реализовать приоритетные национальные проекты и федеральные целевые программы. В рамках одного из таких заказов на базе ФГУП «НИИ Радио», подведомственного Россвязи, построен специализированный вычислительный центр. Сергей Мальянов, заместитель директора Россвязи, отметил, что одна из первоочередных прикладных задач комплекса — обеспечение конверсии радиочастотного спектра, участки которого будут передаваться в коммерческое использование операторам связи.
Илья Трифаленков, директор по развитию бизнеса компании «Инфосистемы Джет», взаимодействовавшей с «НИИ Радио» при создании ВЦ, отметил, что главными заказчиками высокопроизводительных систем (кластеров) традиционно были научно-исследовательские учреждения. Но в мире уже известны проекты, охватывающие все сегменты рынка реальной экономики – от телекоммуникационного до финансового сектора. В России проблематике высокопроизводительных вычислений тоже начали уделять повышенное внимание. В круг задач входят не только создание вычислительных центров и их объединение в grid-сеть, но и разработка услуг и приложений на основе такой инфраструктуры. Трифаленков выразил надежду, что проект создания национальной grid-инфраструктуры получит дальнейшее развитие, а ВЦ «НИИ Радио» станет одним из опорных узлов этой сети.
По словам Бориса Тоботраса, начальника вычислительного центра ФГУП «НИИ Радио», благодаря реализации проекта в телекоммуникационной отрасли появился первый суперкомпьютер с пиковой производительностью 3 Тфлопс. Стоимость оборудования и внедрения составила около 200 млн руб. При проектировании центра и выборе для него архитектурных решений специалисты исполнителя и заказчика ориентировались на передовые технологии, используемые аналогичными суперкомпьютерными системами во всем мире. Центральным компонентом ВЦ является параллельный вычислительный кластер, базирующийся на архитектуре InfiniBand. Основной коммутатор – Voltaire ISR 9288 — обеспечивает передачу сообщений между независимыми вычислительными узлами кластера с задержкой 3 мкс по каналам с пропускной способностью 20 Гбит/с. Технология InfiniBand является залогом того, что решение позволит масштабировать вычислительный кластер «вверх» вплоть до 1 тыс. узлов без снижения эффективности их взаимодействия.
Вычислительная мощность кластера складывается из ресурсов серверов, каждый из которых является независимой вычислительной системой с собственной копией ОС. Наличие кластерного коммутатора позволяет эффективно распределять задачи между серверами и обеспечивать их взаимодействие в процессе параллельных вычислений. В составе кластера, построенного по заказу НИИР, работают 56 серверов Sun Fire X4100 и 50 серверов Sun Blade X8420. В них установлены 312 процессоров AMD Opteron. Доступное поле оперативной памяти составляет 2 Тбайта.
Помимо кластерной сети и коммутатора все серверы вычислительного комплекса объединяет внутренняя локальная вычислительная сеть с пропускной способностью 1 Гбит/c. К ней через межсетевой экран подключаются рабочие места пользователей, с которых осуществляется прямой доступ к вычислительному центру.
Для оперативного доступа к данным развернута сеть хранения, основой которой являются коммутаторы ProCurve. В состав этой сети входят дисковые массивы Hitachi Data Systems AMS 500 с доступным объемом памяти порядка 20 Тбайт (в дальнейшем их можно будет масштабировать), ленточная библиотека Sun StorageTek C4 емкостью 25 Тбайт (для выполнения функций резервного копирования), файловые серверы, серверы баз данных (на основе Sun Fire X4100) и управляющие модули. Подсистема управления позволяет осуществлять непрерывный мониторинг вычислительного центра.
В процессе построения комплекса пришлось решать сложные инженерные задачи, такие как обеспечение микроклимата серверных комнат, подвод требуемой электрической мощности и усиление конструкций несущих перекрытий здания. Дело в том, что изначально здание НИИР не было рассчитано на установку столь тяжелого оборудования.
За два года удалось построить центр обработки данных, входящий (согласно замерам реального быстродействия) в список 10--15 самых производительных вычислительных комплексов нашей страны. Выбранные при построении центра архитектурные и технологические решения позволяют и дальше наращивать вычислительную систему, не отказываясь от уже установленного оборудования.
Аппаратное обеспечение ВЦ дополняется программным, включающим в себя средства разработки, отладки и сопровождения параллельных вычислительных задач. Среди них — анализ электромагнитной совместимости наземных систем радиосвязи, планирование радиочастот для внедрения в России цифрового телерадиовещания, анализ эффективности использования частотного ресурса на территории РФ.
В нынешнем году планируется расширять ВЦ, развивая и поддерживая его характеристики на уровне требований заказчиков. По словам генерального директора ФГУП «НИИ Радио» Валерия Бутенко, сейчас суперкомпьютер используется, в первую очередь, для внутренних нужд института, и уровень загрузки ВЦ не превышает 30%. В дальнейшем основным заказчиком станет Россвязь. Планируется развивать сотрудничество и с академическими институтами. Все свободные мощности ВЦ намечено реализовывать на коммерческой основе.