Предназначенные для решения ограниченного круга задач персональные компьютеры очень скоро достигли своего вычислительного предела. Пожалуй, этим в первую очередь объясняется приобретение суперкомпьютеров ведущими вузами России.
ИТ-инфраструктура
3 полосы
2 фото
Суперкомпьютеры для высшей школы
Предназначенные для решения ограниченного круга задач персональные компьютеры очень скоро достигли своего вычислительного предела. Пожалуй, этим в первую очередь объясняется приобретение суперкомпьютеров ведущими вузами России.
В калининградском Российском государственном университете им. Иммануила Канта научная школа математического моделирования развивается в течение уже нескольких десятилетий. Особенно значимы ее работы по созданию математических моделей движения в околоземном пространстве.
«Эта задача, в основе которой лежит многомерная, нестационарная динамика, требует больших объемов вычислений, – поясняет директор института математического моделирования РГУ им. Канта Леонид Зинин. – Несколько лет назад мы пришли к тому, что развивать модели далее, опираясь на возможности ПК, стало практически невозможно – слишком долго. Например, лет пять назад мне лично пришлось выполнять расчет электрического поля вокруг спутников в плазме. Один просчет занимал около месяца». Для написания научной статьи требуется десяток просчетов, а значит, работа над статьей займет почти год – зачастую неприемлемо большой срок для нашего стремительного времени.
В конце 2007 года был подписан приказ об образовании при РГУ им. Канта института математического моделирования, в распоряжение которого было решено передать недавно приобретенный суперкомпьютер на базе высокопроизводительного вычислительного кластера.
«Однопроцессорных вычислений уже практически нет. Даже на ПК сейчас стоят двух- и четырехядерные процессоры. Но далеко не все имеющееся программное обеспечение создавалось с учетом возможностей многоядерных вычислений. Чтобы потенциал многоядерных процессоров использовался более эффективно, необходимо обучать студентов работать на современной технике», – поясняет Зинин.
Вплоть до наступления экономического кризиса калининградский регион занимал одно из первых мест по росту объемов ИТ-индустрии. Это выражалось в том числе и в растущих продажах техники. Как правило, подобную тенденцию жители области объясняли тем, что регион расположен в окружении европейских стран, поэтому «невольно» тянется к более высокому уровню использования современных технологий. Были и причины, связанные с планами развития региона: область включена в российский проект курортного развития, Калининград — единственный российский незамерзающий порт на Балтике, кроме того, ведутся проекты по добыче нефти на шельфе балтийского моря. В результате интенсивного развития промышленности в регионе росли потребности в электроэнергии и уже обсуждался проект строительства АЭС.
«Потребность региона в ИТ-кадрах растет, необходимо их подготовить, – отмечает Зинин. – Кстати, не так много случаев, когда наши молодые специалисты уезжают в соседнюю Европу, но еще меньше – когда едут в Россию».
В области наблюдается характерная для всей России проблема, связанная с необходимостью переподготовки кадров: ИТ-компаниям приходится переучивать своих сотрудников, потому что базовое образование вузов не успевает меняться в соответствии с динамикой развития ИТ. «В регионе уже создан центр подготовки специалистов по решениям Microsoft, ведутся переговоры о создании сетевой академии Cisco, технологий IBM, Sun и пр. Подобные центры позволяют выпускать из вуза не только кадры с базовым математическим и информационным образованием, но и ИТ-специалистов, чья квалификация окажется на пике потребностей. Вот почему мы пытаемся наладить систему дополнительного профессионального образования, в рамках которой планируем использовать и возможности суперкомпьютера», – рассказывает Зинин.
СКИФский кластер в МГУ
Суперкомпьютер в Московском государственном университете им. Ломоносова появился в результате реализации суперкомпьютерной программы «СКИФ» Союзного государства. Прежде в распоряжении пользователей университета были менее мощные вычислительные установки, которые собирали самостоятельно на базе серверных решений.
«Первые кластеры у нас были почти настольные, а позже удалось собрать и стоечные кластерные решения на базе серверов HP, – вспоминает старший научный сотрудник Научно-исследовательского вычислительного центра МГУ Сергей Жуматий. – Со временем нашим пользователям требовалась все большая вычислительная мощность. Примечательно, что, хотя мощность кластера, полученного в рамках программы «СКИФ», почти в сто раз больше мощности кластера, который использовался у нас раньше, новый все равно не простаивает».
Развернутый в МГУ суперкомпьютер «СКИФ» «Чебышев», названный в честь великого русского математика-прикладника XIX века Пафнутия Львовича Чебышева, уже через полгода после начала серьезного использования был загружен практически полностью. Наиболее частые его «клиенты» – сотрудники химфака, физфака и мехмата МГУ. С его помощью решаются также задачи по биологии, медицине, геофизике, астрофизике и астрономии и пр. К кластеру подключены и пользователи других организаций и университетов.
«Так как изначально рассчитывалось, что кластер будет использоваться коллективно, нам не было смысла сосредоточиваться на конкретной предметной области или задаче. Опираясь на опыт использования наших предыдущих кластеров, приходилось ориентироваться на «золотую середину». Взяв процессоры если не максимальной мощности, то, по крайней мере, последнего поколения, можно использовать хорошую и наиболее быструю «математику»», – отмечает Жуматий.
В начале 2008 года специалисты НИВЦ МГУ определили, какое именно оборудование должно стоять в суперкомпьютере. Заодно просчитывались варианты замены отдельных компонентов на случай, если не удастся найти желаемые.
«Так как у нас был опыт сборки подобных систем, то мы работали в очень тесном контакте с программой «СКИФ», по которой строился «Чебышев», и с самого начала принимали участие во всех этапах его проектирования, сборки и наладки», – вспоминает Жуматий.
Техническое обслуживание «Чебышева» возложено на компанию «Т-платформы», с ней заключен трехлетний контракт. Ее специалисты проводят регулярное техническое обслуживание и проверки. Для этого налажена хорошая схема оповещения о событиях, которые происходят в системе: сотрудники компании получают эти оповещения практически одновременно со специалистами НИВЦ МГУ.
Конфигурации и инфраструктура
Прежде чем приступить к реализации проекта суперкомпьютера, специалисты калининградского университета внимательно изучили опыт реализации подобных проектов. «В первую очередь мы должны были учитывать возможности бюджета. Во-вторых, оценив, что мы хотим и что мы можем за эти средства приобрести, мы определили класс задач, которые предполагали решать средствами этой техники. В результате пришли к выводу, что нам нужна машина производительностью около 3 Тфлопс, но в результате пиковая производительность оказалась 5 Тфлопс. Мы приобрели вычислительный кластер производства IBM (в его состав входят 68 двухпроцессорных четырехядерных лезвийных серверов)», – рассказывает Зинин.
Чтобы суперкомпьютер смог эффективно работать, специалисты РГУ им. Канта большое внимание уделили системе поддержки, в первую очередь блоку бесперебойного питания и жидкостной системе кондиционирования помещения, реализовав их на базе решений компании APC. «Мы изучили опыт создания европейских и американских центров данных, нанесли визит в датский Технологический университет. Побеседовав с инженерами, мы поняли, что приняли правильное решение, развернув водяное охлаждение – оно позволяет очень эффективно охлаждать участки, которые нагреваются особенно сильно. В условиях ограниченного помещения центра данных это весьма актуально», – считает Зинин.
К сожалению, даже современные помещения учебных заведений зачастую не рассчитаны на установку суперкомпьютерной техники. В Калининграде пришлось потратить немало времени и средств на подготовку здания, укрепление фундамента и ряд дополнительных инженерных работ. Поскольку пиковая нагрузка электросети центра данных достигает 55 кВт, пришлось заново проложить электропитание и заземление. В помещении, куда было решено установить суперкомпьютер, пришлось установить и систему пожаротушения.
Независимо от коллег в Калининграде к аналогичному решению с использованием водяного охлаждения пришли и специалисты МГУ, где на ограниченных площадях необходимо было обеспечить эффективный теплоотвод для нового суперкомпьютера, пиковая производительность которого составила 60 Tфлопс. Число процессоров и ядер в нем достигает 1250 и 5000, соответственно (используются процессоры Intel Xeon E5472 с тактовой частотой 3,0 ГГц), объем оперативной памяти составляет 5,5 Тбайт, дисковой памяти — 60 Тбайт.
«Еще на этапе проектирования системы стало понятно, что уложиться в рамки наших жестких требований, используя другие решения, практически невозможно. Нам нужно было разместить большое количество оборудования на ограниченной площади. Систему охлаждения можно было бы реализовать и на базе других решений, но требовалось разместить все необходимое оборудование (в том числе инженерное) и гарантировать при этом его бесперебойную работу, корректное выключение всей установки за заданное время в случае сбоя в электросети. На тот момент из доступных в России решений этим требованиям удовлетворяли только системы APC InfraStruXure. Кроме того, у нас был не один ввод электричества, а три. Пришлось задействовать резервы электроснабжения, которые уже были в МГУ. Нужно было ставить три установки и их агрегировать», – поясняет Жуматий.
Результаты и перспективы
Суперкомпьютер в университете Калининграда ввели в строй осенью прошлого года. Специалистам института математического моделирования предстоял еще процесс генерации программного обеспечения. Одновременно шла подготовка факультетов для введения новых спецкурсов. Требовалось утвердить программу, подготовить преподавателей и ассистентов.
«Вопрос использования суперкомпьютера для простых и научных расчетов и, возможно, работы студенческих групп, которые будут заниматься на факультативах, можно решить за несколько недель. Для этого необходимо подготовить технический регламент — такой, чтобы можно было защитить систему, поскольку студенчество наверняка захочет испытать ее на прочность, – считает Зинин. – Расчеты моделей, над которыми работают наши ученые, тоже появятся, но позже — предстоит переписать алгоритмы, которые были написаны для однопроцессорных машин».
По словам Жуматия, в НИВЦ МГУ регулярно обращаются с различных факультетов с просьбами организовать учебные практикумы, в рамках которых студенты могли бы работать на машине и выполнять свои тестовые задания. Кроме того, есть большое количество студентов, аспирантов, которые используют суперкомпьютер в своей научной работе.
Помимо выполнения текущих задач, оба университета внимательно изучают опыт и готовятся к работе на основе grid-вычислений. Каждая организация, участвующая в этой программе, должна предоставить 10% вычислительной мощности для grid. Предстоит установить программное обеспечение, которое эти процессы реализует, и разработать специальные регламентные процедуры.
[фото]
«Водяное охлаждение очень эффективно на участках центра данных, которые нагреваются особенно сильно», Леонид Зинин, директор института математического моделирования РГУ им. Канта
«Создавая суперкомпьютер, мы принимали участие во всех этапах его проектирования, сборки и наладки», Сергей Жуматий, старший научный сотрудник Научно-исследовательского вычислительного центра МГУ