В Nvidia отреагировали на рост заинтересованности предприятий в мощностях для задач генеративного искусственного интеллекта, представив HGX H200 — платформу на базе нового графического процессора H200. Она оснащена 141 Гбайт памяти нового типа HBM3e c пропускной способностью 4,8 Тбайт/с. Емкость памяти по сравнению с предыдущей ИИ-платформой Nvidia, A100, увеличилась вдвое, а скорость обмена данными — в 2,4 раза. В компании заявляют, что H200 позволит почти удвоить скорость инференса при работе с одной из крупнейших на сегодня больших языковых моделей, имеющей 70 млрд параметров. Начало поставок систем на H200 ожидается во втором квартале 2024 года. Nvidia предлагает платформу в виде серверных плат с четырьмя и восемью процессорами. Более мощный вариант обеспечивает обработку восьмиразрядных чисел с плавающей запятой FP8 (формат, применяемый в задачах глубинного обучения для оптимизации быстродействия) со скоростью 32 PFLOPS.