В компании Nvidia объявили о доступности для публичного использования микросервисов нейромодуля NeMo — концептуального блока платформы для создания и настройки специализированных моделей и ИИ-агентов.

Как поясняют разработчики микросервисов, их интеграция в решения партнеров обеспечивает доступ к таким функциям, как настройка промптов (prompt tuning) и контролируемая тонкая настройка (supervised fine-tuning), применяемая для адаптации обученных моделей к конкретным задачам, а также доступ к инструментам извлечения знаний (knowledge retrieval tools).

В состав микросервисов входят:

- NeMo Data Curator, который обеспечивает сбор и классификацию корпоративных данных, а также удаления дубликатов;

- NeMo Customizer, осуществляющий тонкую настройку, используя такие методы постобработки, как контролируемая тонкая настройка и технология адаптации больших языковых моделей;

- NeMo Evaluator, предназначенный для оценки ИИ-моделей и рабочих процессов на основе пользовательских и отраслевых критериев;

- NeMo Guardrails, повышающий уровень защиты в соответствии с требованиями безопасности, которые соответствуют политикам и регламентам организации;

- NeMo Retriever, поддерживающий создание систем извлечения мультимодальной информации (multimodal extraction), повторного ранжирования и встраивания конвейеров, повышающих точность ответов.

В Nvidia рассматривают микросервисы NeMo как строительные блоки для создания компаниями так называемых маховиков данных (data flywheels) - циклов обратной связи, обеспечивающих накопление значительных объемов данных, которые используются для совершенствования ИИ-моделей, повышения эффективности процессов, улучшения качества продуктов и услуг.

В компании полагают, что маховики данных помогают внедрять особого рода ИИ-агенты, которые будут непрерывно повышать эффективность моделей на основе взаимодействия с пользователями и полученных с помощью ИИ данных. Благодаря маховикам данных ИИ-агенты смогут приобретать новые возможности и навыки, а также учиться на собственном опыте.

В Nvidia полагают, что микросервисы NeMo должны быть весьма полезны для компаний, начинающих создавать системы с сотнями специализированных ИИ-агентов. К примеру, в AT&T используют в ИИ-агентах микросервисы NeMo для поддержки контакт-центров и работы с базой знаний, содержащей почти 10 тыс. еженедельно обновляемых документов. В Cisco, где микросервисы NeMo применяют для помощи программистам, удалось значительно сократить количество ошибок при выборе инструментов и на порядок улучшить время отклика приложений.