К 2028 году в 40% организаций, внедряющих ИИ, будут применять специализированные инструменты наблюдения за ИИ для мониторинга производительности моделей и «предвзятости» (bias) получаемых результатов, утверждает эксперты Gartner.

В Gartner определяют наблюдаемость (observability) как характеристику ПО и систем, позволяющую по результатам работы анализировать их поведении и выяснять его причины. Наблюдаемость ИИ требует применения специализированных инструментов управления, которые оценивают поведение, принятие решений и такие связанные с ИИ риски, как постепенная деградация точности и качества моделей (model drift), «предвзятость» и логика работы LLM. Наблюдаемость ИИ также включает возможность мониторинга доступности, производительности и точности ИИ‑платформ, что становится особенно важным по мере того, как персонал предприятий все больше полагается в решениях на полученные ИИ результаты.

В отличие от традиционного ПО, процесс принятия решений ИИ часто скрыт, что затрудняет объяснение  результатов и снижает к ним доверие. Ошибки могут привести к существенным финансовым потерям, ущербу репутации и пристальному вниманию со стороны регулирующих органов. Поэтому аналитики Gartner подчекивают важность применения специализированной системы мониторинга ИИ, обеспечивающей отслеживание и снижение алгоритмических рисков, которая формирует техническую основу для повышения доверия к ИИ и его внедрению на  предприятиях. Без четкой  и стандартизированной телеметрии моделей ИИ ИТ-специалисты будут сталкиваться с длительным временем устранения инцидентов и сложными ручными действиями для отслеживания и отладки поведения непрозрачных моделей глубокого обучения.

При разработке стратегий использования ИИ-платформ в Gartner настоятельно рекомендуют руководителям подразделений ИТ-инфраструктуры:

- внедрить для всех производственных развертываний ИИ обязательные политики мониторинга моделей, требующие непрерывного отслеживания показателей справедливости (fairness), дрейфа и качества данных;

- стандартизировать системы мониторинга в группах специалистов по анализу данных, MLOps‑инженеров и инженеров по данным для согласованности и контроля их работы, устранения организационных барьеров, оптимизации процесса решения проблем;

- уделять особое внимание инфраструктуре, способной принимать и анализировать большие объемы данных телеметрии моделей, сосредоточившись на специализированных решениях для распределенной трассировки вызовов и ИИ‑выводов;

- предусмотреть в ИТ-стратегии компании политики и механизмы, связанные с будущим применением ИИ‑платформ, включая мониторинг производительности, выявление активности «теневых» ИТ-систем, управление затратами для решения возникающих проблем.