Дмитрий ВолковРазвитие Интернета, особенно мобильного, значительно ускорило темпы накопления различных сведений, требующих обработки, породив проблему Больших Данных, которые сегодня рассматриваются как движущая сила для большого успеха не только отдельных корпораций или людей, но и целых государств. Однако за кадром пока остается один из ключевых факторов этого успеха — обеспечить необходимый для задач Больших Данных и аналитики реального времени нерегулярный доступ к разнообразным данным могут лишь масштабируемые гетерогенные высокопроизводительные системы, суперкомпьютеры. Аналитики прогнозируют, что мировой объем инвестиций в аппаратное обеспечение и среды Больших Данных увеличится с 9,4 млрд долл. в нынешнем до 15,7 млрд в 2017 году. Авторы этого номера считают, что векторы этих инвестиций направлены в конечном итоге на интеграцию двух миров — HPC и Больших Данных — при создании экономически доступных решений обработки распределенных массивов разнообразных данных.

Как отмечает Валерий Коржов, направления развития компьютерных архитектур во многом определяются сегодня стремлением к снижению стоимости на единицу производительности путем, например, уменьшения расходов на электроэнергию. Чем производительнее система, тем больше она потребляет энергии, теряя ее значительную часть в атмосфере через систему охлаждения. Поэтому разработчики современных вычислительных комплексов, как и их коллеги, создававшие первые суперкомпьютеры и мэйнфреймы, вынуждены решать задачу отвода тепла от эксплуатируемых вычислительных стоек. Полвека назад для этой цели использовалось в том числе и жидкостное охлаждение, и сегодня соответствующие решения снова встраиваются в новейшие суперсерверы, применяемые в масштабируемых конфигурациях для поддержки облачных решений, выполнения задач аналитики реального времени и обработки Больших Данных.

Вместе с тем при попытках переноса на высокопроизводительные платформы таких, ставших уже привычными, инструментов работы с Большими Данными, как Hadoop, возникает немало трудностей. Например, в статье «Большие Данные и суперкомпьютеры» отмечается, что долгое время основной сферой применения суперкомпьютеров оставались интенсивные расчеты, главным образом действия над массивами структурированных данных. Сегодня, когда оказалось, что традиционные кластерные архитектуры, построенные на базе вычислительных модулей и узлов хранения, плохо пригодны для операций с крупными массивами неструктурированной информации, возникла идея применить известные своими возможностями масштабирования суперкомпьютеры для решения задач Больших Данных — в частности, для переработки огромных потоков данных различной природы и форматов. Однако основополагающая для Hadoop файловая система HDFS не работает с популярной в мире HPC массово-параллельной распределенной файловой системой Lustre, которая масштабируется до десятков тысяч клиентов, сотен терабайт памяти разных уровней, а традиционные суперкомпьютерные приложения, в свою очередь, не умеют взаимодействовать с HDFS. И это не единственное препятствие на пути интеграции двух миров.

Безусловно, все проблемы рано или поздно преодолеваются, и системы HPC усилиями как ведущих игроков рынка ИТ, так и сообщества открытого ПО будут интегрированы в решения для работы с глобальными облаками и Большими Данными. При этом, как отмечается в статье «Облачные сервисы масштаба WWW», будет создана целая армада сервисов, найти среди которых нужный может быть весьма сложно. Публичные облака предлагают пользователям динамичный набор сервисов, развернутых на различных платформах, однако, несмотря на заявления о повсеместном следовании стандартам языков описания сервисов, поиск их затруднен. Авторы статьи описали общую картину современного положения дел с облачными сервисами в WWW и пришли к выводу о недостаточной стандартизации структуры размещения сервисов, что приводит к проблемам их обнаружения и создает барьеры на пути их доступности.

Статья «Начало цифровой эпохи» посвящена истории зарождения в СССР основ современной информатики. Работы в этой области строились на убеждении, что зависимость от внешней конъюнктуры несет угрозу технологическому суверенитету государства, а значит, и его самостоятельности, — критически важные технологии должны развиваться внутри страны силами отечественных специалистов. Сегодня часто можно слышать, что сложившуюся вокруг России ситуацию нужно рассматривать как возможность для ускоренного подъема отечественного производства и импортозамещения в различных отраслях — в частности, в электронной промышленности и ряде других, в которых зависимость от импорта составляет 70–90%. Как бы то ни было, а полвека назад уровень ряда разработок был намного выше, чем у появившихся позднее западных аналогов, и в стране сформировалась научная школа программирования, ученики которой продолжают работать и в цифровую эпоху, создавая конкурентоспособные высокопроизводительные интегрированные системы для решения масштабных задач. К счастью, в России пока еще имеются технологии и дееспособные команды разработчиков, которым по силам создавать современные вычислительные комплексы на прогрессивной элементно-конструкторской базе.

«Открытые Системы.СУБД»

Поделитесь материалом с коллегами и друзьями

Купить номер с этой статьей в PDF