В отраслевой организации SNIA, специализирующейся на технологиях хранения и оптимизации инфраструктуры работы с данными, объявили о старте проекта Storage.AI на основе открытых стандартов и непатентованных отраслевых подходов, целью которого является формирование эффективных сервисов обработки данных, связанных с рабочими нагрузками ИИ.

Проект призван решить проблему передачи данных ИИ-приложений, связанную с отсутствием непосредственного взаимодействия систем хранения с графическими процессорами и ИИ-ускорителями, что приводит к появлению значительного числа промежуточных звеньев, пояснили в SNIA.

Системы хранения данных обычно подключаются к сетям, напрямую не связанным с кластерами графических процессоров. Поэтому каждый запрос графического процессора на передачу данных проходит через центральный процессор, увеличивая задержки и загружая сеть. Данные из системы хранения поступают через ядра центрального процессора в его память и только потом - в память графического процессора. Все это повторяется для каждого запроса данных.

Проприетарные решения существуют  — Nvidia GPU Direct for Storage и AMD Infinity Storage, но пока нет открытых стандартов, регламентирующих прямой доступ графических процессоров к устройствам хранения в системах, собранных из оборудования разных производителей.

Стандарты прямого доступа графических процессоров (GPU Direct Access) предоставят возможность системам хранения передавать данные непосредственно в его память без участия центрального процессора. Графические процессоры, используя протоколы ввода-вывода, смогут запрашивать и получать данные, сочетая возможности массовой параллельной обработки с параллелизмом систем ввода-вывода.

Важно, что в проекте Storage.AI ориентируются не на разработку совершенно новых протоколов, а на ряд уже существующих спецификаций. Такой подход гарантирует использование проверенных технологий, а также позволяет избежать ошибки предыдущих версий. Рассматриваемые спецификации ранее не были интегрированы для совместного использования а ИИ-системах.

В их первоначальный состав входит, к примеру, интерфейс интеллектуального ускорителя данных SDXI (Smart Data Accelerator Interface), который позволяет приложениям управлять аппаратным обеспечением для перемещения данных из памяти в память, минуя несколько уровней абстракции ПО.

Предусматривается также использование концепции размещения вычислительных ресурсов в непосредственной близости от систем хранения — Compute-near-storage, архитектура на базе которой упрощает перемещение данных ИИ для их предварительной обработки, которая в настоящее время требует значительной пропускной способности сети.

В SNIA заявили о намерении максимально ускорить внедрение решений, которые будут созданы в рамках Storage.AI. В организации рассчитывают, что сумеют это сделать с помощью модульного подхода, позволяющего внедрять отдельные компоненты по мере их появления, не ожидая полного завершения разработки спецификаций, как это было в предыдущих неудачных инициативах создания сетей хранения данных.