Южнокорейский ИИ-стартап FuriosaAI заключил крупный контракт на поставку собственных энергоэффективных ИИ-ускорителей RNGD компании LG Electronics.

В FuriosaAI сообщили, что чипы RNGD успешно прошли тесты производительности, проведенные LG AI Research с использованием разработанных в LG моделей EXAONE.

LG AI Research — это исследовательское подразделение в составе LG Group с офисами в Южной Корее и США, где занимаются  разработкой передовых технологий искусственного интеллекта  и решением сложных задач в различных подразделениях LG, а также в более широком отраслевом контексте.

Чипы RNGD созданы на основе  процессорной архитектуры тензорного сжатия (Tensor Contraction Processor, TCP),  разработанной в FuriosaAI. Их производительность достигает 512 TFLOPS в восьмиразрядном формате FP8 при расчетной тепловой мощности (TDP) 180 Вт, что делает  ускорители RNGD гораздо более энергоэффективными, чем графические процессоры.

В ходе тестирования чипы RNGD показали в 2,25 раза лучшую производительность на ватт для больших языковых моделей по сравнению с графическими процессорами. Стойка с чипами RNGD за счет высокой вычислительной плотности может генерировать в 3,75 раза больше токенов для моделей EXAONE по сравнению со стойкой графических процессоров при одинаковой потребляемой мощности.

В LG подчеркивают, что по результатам тестирования считают RNGD высокоэффективными чипами для поддержки развертывания моделей EXAONE, так как они обладают рядом преимуществ, включая высокую производительность в реальных условиях, значительное снижение совокупной стоимости владения решением и очень простую интеграцию.

Теперь в LG будут предлагать корпоративным клиентам, использующим большие языковые модели, комплекс под названием RNGD Server. Он разработан в FuriosaAI и состоит из 8 ускорителей RNGD, размещенных в одном  4U-корпусе с воздушным охлаждением. LG является поставщиком решений, обеспечивющим поставку серверов RNGD Server конечным пользователям.

Эксперты Intersect360 Research считают, что FuriosaAI работает на очень конкурентном рынке, где представлено множество стартапов, занимающихся разработкой ИИ-чипов, однако «трудно представить, что кто-то из них в состоянии представлять реальную угрозу для Nvidia». Но именно FuriosaAI привлек к себе внимание: ранее в этом году Meta (компания признана экстремистской и запрещена в России. — Прим. ред.). предложила купить FuriosaAI за 800 млн долл., но в FuriosaAI отказались от такой сделки.