ИИ-агенты: дело в доверии

Одним из событий, вызвавших наибольший интерес участников форума «Интеллектуальное предприятие 2026», организованного издательством «Открытые системы», стала интерактивная дискуссия «Кто в ответе за ИИ-агента?», посвященная правовым, технологическим и управленческим аспектам применения автономных интеллектуальных систем в корпоративной среде. В ходе дискуссии участникам предложили рассмотреть проблему с разных профессиональных позиций: права, информационной безопасности, разработки и эксплуатации ИИ-систем, корпоративного управления и практического внедрения генеративного ИИ. Таким образом, главным вопросом дискуссии стало доверие к результатам работы ИИ. Насколько компания может полагаться на решения вероятностной модели? Как установить допустимую степень автономности, и кто должен отвечать, если результат работы системы приведет к ущербу?

Владимир Анисимов: «Если первоначально генеративный ИИ воспринимался преимущественно как инструмент подготовки текстов и обработки информации, то распространение агентных технологий позволяет переходить к выполнению последовательностей действий и участию в принятии решений»

«Если первоначально генеративный ИИ воспринимался преимущественно как инструмент подготовки текстов и обработки информации, то распространение агентных технологий позволяет переходить к выполнению последовательностей действий и участию в принятии решений», — отметил Владимир Анисимов, эксперт в области Decision Intelligence и цифровой трансформации. Однако расширение возможностей ИИ сопровождается и изменением характера рисков: ошибка в подготовленном тексте и ошибочное действие агента, которому предоставлен доступ к корпоративным системам, финансовым операциям или юридически значимым документам, способны иметь принципиально разные последствия.

По мнению Анисимова, при выборе задач для автоматизации необходимо учитывать не только производительность технологии, но и последствия принимаемых решений. Само по себе повышение скорости выполнения операций не гарантирует повышения качества управления.

Границы профессионального суждения

Яков Шварцман: «Распространение генеративного ИИ в юридической деятельности сопровождается риском чрезмерного доверия к убедительно сформулированным ответам»

«Распространение генеративного ИИ в юридической деятельности сопровождается риском чрезмерного доверия к убедительно сформулированным ответам», — подчеркнул Яков Шварцман, юрист и руководитель продуктового направления Т1. Сегодня интеллектуальные системы используются для подготовки документов, проверки договоров, поиска нормативных актов, анализа судебной практики и построения правовых позиций. Однако эти задачи существенно различаются по сложности проверки результата.

Шварцман предложил разделять юридические задачи, решаемые с помощью ИИ, на три уровня. Первый из них — работа с текстом без изменения смысла: редактирование, сокращение, перевод и изменение стилистики. Здесь результат сравнительно легко проверить по исходному документу. Второй уровень — анализ и интерпретация большого массива правовой информации. На этом уровне возрастает риск смысловых ошибок – например, смешения позиции суда с аргументами одной из сторон судебного разбирательства. Третий уровень — формирование самостоятельной правовой позиции, предполагающее толкование законодательства, разрешение коллизий и построение аргументации. В данном случае проверка сгенерированного результата фактически становится отдельной квалифицированной юридической работой.

«Главным критерием допустимости применения ИИ становится не сложность генерируемого текста, а возможность надежной проверки его содержания и воспроизводимость результата», — резюмировал Шварцман.

При этом участники отметили высокий потенциал автоматизации типовых юридических операций. Например, сравнение договоров с корпоративными шаблонами и проверка соблюдения установленных требований позволяют существенно сократить объем рутинной работы юридических подразделений.

Доверять или проверять?

Алексей Рошковский: «Внедрение ИИ должно сопровождаться механизмами проверки результата, а окончательная ответственность за юридически значимые решения должна оставаться за человеком»

Одним из наиболее дискуссионных вопросов стало само понятие доверия к ИИ. Алексей Рошковский, независимый эксперт в области Legal Operations, предложил исходить из концепции нулевого доверия при проектировании интеллектуальных систем. «Внедрение ИИ должно сопровождаться механизмами проверки результата, а окончательная ответственность за юридически значимые решения должна оставаться за человеком», — уверен он. При этом Рошковский отметил значительный эффект от автоматизации подготовительных операций в собственной практике: применение ИИ позволяет ему снимать до 70% соответствующей работы.

Иной акцент предложила Виктория Ефимова, партнер по внедрению и развитию генеративного ИИ АО «Северсталь-инфоком». С ее точки зрения, вместо абстрактного обсуждения доверия целесообразно перейти к анализу рисков и определить, какие решения могут приниматься автоматически, а какие должны оставаться под обязательным контролем человека.

Виктория Ефимова: «В корпоративной практике необходимо различать процессы с низкой ценой ошибки и процессы, в которых даже единичная ошибка может привести к значительным финансовым, репутационным или кадровым последствиям»

«В корпоративной практике необходимо различать процессы с низкой ценой ошибки и процессы, в которых даже единичная ошибка может привести к значительным финансовым, репутационным или кадровым последствиям», — подчеркнула Ефимова. Автоматическое распознавание и перенос информации уже давно используются компаниями, однако дополнительные проверки могут назначаться в зависимости от суммы операции и характера рисков. Совсем иной подход необходим к решениям, затрагивающим значительные финансовые обязательства или интересы сотрудников. В таких сценариях требуется более строгая регламентация полномочий и участие ответственных специалистов.

Развивая тему управляемой автономности, Анисимов предложил практический подход к определению границ применения ИИ-агентов, основанный на двух параметрах: частоте выполнения операции и цене возможной ошибки. «Регулярно повторяющиеся процессы с относительно небольшими последствиями ошибок являются наиболее перспективными кандидатами на автоматизацию. Для редких операций с высокой ценой ошибки целесообразно сохранять непосредственное участие квалифицированных специалистов», — рекомендовал он.

Промежуточные же сценарии требуют комбинированной модели, при которой ИИ выполняет часть действий, а человек контролирует критические точки процесса. Такой подход позволяет рассматривать делегирование полномочий не как универсальный технологический принцип, а как управленческое решение, принимаемое с учетом особенностей конкретной бизнес-функции. Важным условием при этом становится способность организации накапливать опыт эксплуатации ИИ-агентов, измерять качество их работы и последовательно корректировать границы автономности.

Ответственность за ИИ-агента необходимо распределять?

Отдельная часть обсуждения была посвящена вопросу юридической и организационной ответственности.

Николай Лобанов, независимый эксперт по информационной безопасности и защите КИИ, обратил внимание на необходимость согласования полномочий интеллектуальных агентов с требованиями информационной безопасности и задачами владельцев бизнес-процессов.

Николай Лобанов: «Если ИИ-агент получает возможность самостоятельно проводить закупки, бизнес должен определить перечень допустимых контрагентов, финансовые лимиты и условия обязательного согласования операций»

«Если ИИ-агент получает возможность самостоятельно проводить закупки, бизнес должен определить перечень допустимых контрагентов, финансовые лимиты и условия обязательного согласования операций. Технические специалисты должны обеспечить выполнение этих ограничений, а специалисты по информационной безопасности — защиту соответствующих механизмов», — предложил Лобанов.

В ходе дискуссии прозвучало предложение разделять ответственность по основным компонентам интеллектуальной системы: технологическая платформа и работа моделей, механизмы безопасности и ограничения доступа, бизнес-логика и правила выполнения операций. При таком подходе ответственность перестает быть абстрактной характеристикой и закрепляется за конкретными функциями и ответственными подразделениями.

Никита Поляков: «Вероятностный характер работы языковых моделей и взаимодействие нескольких компонентов затрудняют определение причины ошибочного результата»

«Вероятностный характер работы языковых моделей и взаимодействие нескольких компонентов затрудняют определение причины ошибочного результата. В таких условиях особенно важны тестирование, измерение качества и возможность восстановления последовательности действий системы», — подчеркнул Никита Поляков, основатель Lexometrica.

Участники также затронули правовую природу ИИ-агента. Самостоятельное выполнение технических действий не означает появления у него статуса субъекта права. Вопросы ответственности необходимо решать через существующие отношения между людьми и организациями, которые разрабатывают, внедряют и эксплуатируют такие системы.

Человек в контуре управления: контроль или формальность?

Не менее важным оказался вопрос о роли человека в автоматизированном процессе принятия решений. Само по себе присутствие сотрудника, подтверждающего результат работы ИИ, еще не гарантирует надлежащего контроля. При большом количестве однотипных операций проверка способна превратиться в формальное согласование предложений системы.

«Если сотрудник систематически подтверждает результаты модели, не анализируя их содержание, механизм контроля утрачивает первоначальный смысл», — констатировал Поляков. В этом контексте участники обсудили необходимость проектировать контроль с учетом характера операций, требуемой квалификации специалиста и возможных последствий ошибки.

Была озвучена и более широкая проблема — сохранение профессиональных компетенций в условиях массового применения генеративного ИИ. Автоматизация задач, на которых традиционно обучались начинающие специалисты, меняет механизм передачи профессионального опыта. Юристы, разработчики и аналитики должны не только уметь пользоваться интеллектуальными инструментами, но и сохранять способность самостоятельно оценивать корректность полученных решений.

Однако в оценках происходящих изменений эксперты разошлись: одни скорее видят в них риск утраты фундаментальных компетенций, а другие — появление нового поколения специалистов, способных работать на более высоком уровне абстракции.

От запретов — к управляемому применению

В завершающей части дискуссии эксперты перешли к практическим рекомендациям для компаний, которые уже внедряют ИИ-агентов. Например, Лобанов предложил начать с инвентаризации используемых агентов, документирования их функций и назначения ответственных специалистов. Для каждого агента необходимо определить допустимые действия, ограничения и ситуации, требующие вмешательства человека.

Отдельное внимание было уделено журналированию действий и возможности оперативного анализа инцидентов. Корпоративная система должна позволять восстановить, какие действия выполнялись агентом, в каких условиях и с использованием каких инструментов.

Шварцман обратил внимание на риски запретительной модели регулирования корпоративного использования генеративного ИИ. «Формальные запреты не устраняют потребность сотрудников в интеллектуальных инструментах и могут способствовать их неконтролируемому применению», — подчеркнул он. Вместо этого организациям необходимо формировать понятные правила безопасной работы с ИИ, обеспечивать доступ к допустимым инструментам и выстраивать управляемые процессы их использования.

Еще одним важным направлением становится развитие корпоративной архитектуры интеллектуальных систем. Разграничение технологических, защитных и бизнес-функций позволяет не только управлять рисками, но и определять зоны ответственности при возникновении ошибок.

Дискуссия показала, что внедрение ИИ-агентов постепенно выходит за пределы технологической повестки и становится вопросом корпоративного управления. Компаниям предстоит определить не только перечень задач, которые можно автоматизировать, но и правила делегирования полномочий, требования к качеству решений, порядок контроля и механизмы распределения ответственности. При этом участники не пришли к единой позиции относительно универсальных границ автономности. Однако в обсуждении проявился общий ориентир: применение интеллектуальных агентов требует прозрачности, проверяемости и осознанного управления последствиями их действий. Главный же вопрос для бизнеса постепенно смещается от того, способен ли ИИ выполнить задачу, к тому, на каких условиях организация готова поручить ему принятие решения и принять ответственность за результат.