Разработчики одной из ведущих ИИ-компаний мира выступили с тревожным предупреждением. По их словам, обществу необходимо быть готовым замедлить исследования в области искусственного интеллекта во избежание выхода моделей из-под контроля человека. Главная причина – риск потери управления над системами, способными к рекурсивному самосовершенствованию.

Ведущий исследователь Института Anthropic Марина Фаваро и сооснователь компании Джек Кларк описали три возможных вектора развития технологий.

1. Рост возможностей ИИ выходит на плато и замедляется.

2. Повышение эффективности моделей продолжится, но упрется в «бутылочные горлышки» в других областях разработки программного обеспечения.

3. ИИ становятся способными к полному рекурсивному самосовершенствованию и начинают самостоятельно создавать своих преемников.

Именно этот третий сценарий вызывает у исследователей наибольшую обеспокоенность и побуждает их затормозить развитие ИИ.

Хотя предупреждение Anthropic касается будущего развития ИИ, аналитики говорят, что оно актуально уже сейчас, поскольку автономные агенты ИИ от ответов на вопросы переходят к действиям. Вопрос сегодня не только в том, дает ли ИИ правильный ответ, но и в том, выполняют ли автономные системы правильные действия в нужное время и в рамках надлежащих полномочий.

Предупреждение Anthropic прозвучало на фоне растущих инвестиций предприятий в агентный искусственный интеллект. Согласно прогнозам Gartner, к 2028 году 15% повседневных рабочих решений будут приниматься автономно с помощью агентного ИИ, и треть корпоративных программных приложений будут поддерживать соответствующие возможности. Недостатки в управлении видны уже сейчас. Ожидается, что к 2027 году 40% предприятий понизят статус автономных агентов или вовсе выведут их из эксплуатации после того, как сбои управления в производственных средах станут очевидными.

Многие продолжают воспринимать агентов ИИ как продвинутые инструменты повышения производительности, хотя они все больше напоминают цифровых работников, обладающих делегированными полномочиями. Соответственно, и управлять ими нужно, как привилегированными пользователями, а не как инструментами повышения производительности.

По мере того, как агенты получают возможность проводить исследования, писать код, использовать различные инструменты, запускать рабочие процессы и давать рекомендации, предприятия сталкиваются с новыми рисками, связанными с несанкционированными действиями, пробелами в отчетности, раскрытием данных, неправильным использованием инструментов и недостаточным контролем.

Современные подходы к управлению сосредоточены в основном на моделях и данных, но автономные агенты требуют контроля за их поведением в процессе выполнения, за разрешениями, использованием инструментов и границами принятия решений.

Исследователи Anthropic полагают, что вопросы управления могут значительно усложниться по мере того, как системы ИИ будут все активнее вовлекаться непосредственно в процесс исследований и разработок в области искусственного интеллекта.

Фаваро и Кларк не утверждают, что полностью автономное рекурсивное самосовершенствование неизбежно. Но, по их мнению, такая возможность требует подготовки и обсуждения среди разработчиков, политиков и других заинтересованных сторон. В конечном итоге отрасли могут понадобиться механизмы для замедления развития, если возможности ИИ начнут развиваться быстрее, чем средства контроля за ним, признавая при этом, что такие меры сами по себе сопряжены с рисками.

Управление больше не может опираться исключительно на контроль со стороны человека. Надзор становится архитектурным, а не ручным. Организациям потребуются ограниченная автономность, встроенные средства защиты, проверяемые механизмы исполнения и резервные элементы управления, которые с самого начала должны закладываться в агентные системы.