Безопасность применения систем искусственного интеллекта во всех ее аспектах стала главной темой одной из сессий, состоявшихся в рамках первого Форума ГосСОПКА. Ее участники обсудили состояние законодательной базы, угрозы и риски, связанные с применением ИИ, в частности, на объектах критической информационной инфраструктуры, подходы к организации защиты ИИ-систем, опыт отдельных организаций и многое другое.

«Все сейчас говорят о технологиях ИИ. При этом и что такое ИИ не все понимают, и как его применять, и в какой части. Тем не менее, везде его начинают использовать, в том числе на объектах КИИ и в государственных информационных системах», — так описал текущее отношение к ИИ в профессиональном сообществе ведущий сессии Дмитрий Служеникин, секретарь Консорциума исследований безопасности технологий ИИ.

Угрозы ИИ и их минимизация

В разных сценариях использования ИИ на первый план выходят разные риски — на это обратил внимание коллег Антон Башарин, старший управляющий директор ГК Swordfish Security. Например, в сфере ИБ инструменты на базе ИИ нередко применяются для анализа и классификации тревожных оповещений от систем безопасности, и главный риск здесь связан с дрифтом ИИ-моделей. В сценариях с применением ИИ для транскрибации и машинного зрения приоритетными следует считать риски атак, связанных с искажением результатов. Применяя ИИ для анализа и генерации документов (в том числе программных кодов), есть риск столкнуться с атаками RAG-отравления, косвенной инъекции через документы и инъекции через промпты. «Все эти риски в большинстве случаев никак не связаны с взаимодействием или каким-то влиянием на инфраструктуру, — добавил Башарин. — Атаки на ИИ — это взлом без взлома». Он перечислил четыре основных вектора таких атак: атаки на вход, на данные, на системы и на модели.

Особо Башарин выделил ключевые изменения в подходах к защите систем ИИ по сравнению с традиционным подходом. Так, если в обычных системах объектами защиты выступают программные коды, конфигурации, сетевая инфраструктура, то в ИИ-системах — датасеты, обучающие выборки, разметка. Если в обычных системах исполняемый код является единственным вектором изменения поведения объектов, то в ИИ системах данные и модели — это равноценные векторы. Если в традиционных подходах основное внимание уделяется защите периметра и приложений, то в ИИ-системах — контурам данных, обучения, инференса и RAG-базы. Если для поиска причин инцидентов анализировались записи в системных журналах (логи), то в ИИ-системах приходится фиксировать также входы, контексты и версии моделей. И так далее. Ключевые требования для всех государственных информационных систем содержатся в Приказе ФСТЭК России №117. Рекомендации по тестированию безопасности ИИ Башарин описал в методике, которую он передал в Консорциум исследований безопасности технологий ИИ.

Алексей Лукацкий, главный евангелист компании Positive Technologies, предложил три базовых принципа для выявления атак на ИИ-системы на базе больших языковых моделей (LLM): «Первый принцип: смотреть не на payload-фрагменты вредоносных кодов, как мы делаем в традиционном SOC, а на их поведение — частоту запросов к модели, цепочки этих самых запросов и ответов и ряд других параметров. Второй принцип: выявлять семантические, а не синтаксические аномалии. И третий: внимательно следить не только за моделью, но и за контекстом — кто задает вопрос, откуда, какая система или в какой системе этот вопрос формируется, с какими правами». Для мониторинга за системами LLM полезно использовать как локальные инструменты (SIEM, EDR, IAM, средства аудита доступа к данным, межсетевые экраны для LLM), так и облачные (CASB, DLP, IAM/SSO, SIEM, шлюзы для ИИ-моделей). Важно при этом помнить, что любая атака оставляет след, поэтому важно его как можно раньше обнаружить. Для этого нужно знать, на что именно следует обращать внимание, выстраивая защиту LLM.

ИИ на промышленных объектах КИИ: как обеспечить безопасность

Лидия Виткова: «На этапе мультиагентных систем мы все столкнемся с дивным новым миром»

Согласно видению Лидии Витковой, начальника аналитического центра кибербезопасности компании «Газинформсервис», использование ИИ в бизнесе и на производстве в целом находится на этапе широкого применения внутреннего конвейера и субагентов, а также появления агентного ИИ — Виткова обозначила этот этап зрелости прикладного ИИ индексом 1.5. Его характерной особенностью является централизованная оркестрация внутри архитектуры. Этому этапу предшествовали нулевой — с широким применением «классического» машинного обучения, а также первый — с чат-ботами и генеративным ИИ. Следующий этап с индексом 2.0 будет характеризоваться массовым применением мультиагентных систем — своего рода цифровых команд, работающих в рамках общей среды.

На нынешнем этапе основное внимание в области защиты ИИ-систем уделяется обеспечению безопасности внутреннего процесса, в том числе проверкам между этапами конвейера и ограничению действий отдельных инструментов в условиях отсутствия «слепого» доверия к ним. По оценкам Витковой, имеющихся на текущий момент средств защиты вполне достаточно. На следующем этапе фокус сместится на межагентное доверие, для обеспечения которого потребуются валидация сообщений, изоляция памяти для недопущения заражений и предотвращение каскадных отказов. «На этапе мультиагентных систем мы все столкнемся с дивным новым миром», — резюмировала Виткова.

Степан Клятецкий: «Мы не сможем применить искусственный интеллект, не проработав блок информационной безопасности для ИИ»

Одним из крупнейших корпоративных пользователей систем искусственного интеллекта в стране является госкорпорация «Росатом». По данным, которые привел Степан Клятецкий, заместитель директора департамента технологической независимости объектов АСУТП и КИИ, руководитель программ госкорпорации, среди первых эффектов от применения ИИ в «Росатоме» — сокращение на 50% времени на первичную проверку технической документации, снижение на 15% времени, затрачиваемого на проектирование и разработку, двукратное уменьшение затрат на процессы, рост производительности труда на 15%. Консолидированный экономический эффект от использования ИИ составил 1,4 млрд руб.

ИИ применяется и в КИИ «Росатома», в том числе в контурах АСУТП. По словам Клятецкого, госкорпорация взяла стратегический курс на переход к АСУТП, построенным на новых технологических принципах — с виртуальными программируемыми логическими контроллерами вместо обычных, с виртуальными распределенными системами управления вместо обычных и так далее. При этом госкорпорация намерена опираться на широкое использование именно доверенных решений — как аппаратных, так и программных, в том числе в области ИИ.

Впрочем, Николай Нашивочников, заместитель генерального директора, технический директор компании «Газинформсервис», признался, что достаточно скептически оценивает перспективы использования ИИ в КИИ: «Полагаю, мы не увидим в ближайшее время активного применения систем ИИ на объектах критической инфраструктуры». К таким прогнозам его подталкивают известные многим проблемы с ИИ: дрейф моделей, их деградация, склонность ИИ к галлюцинациям и прочие явления, происходящие без всякого злого умысла с чьей-либо стороны. Для обеспечения информационной безопасности в системах, где применяется ИИ, Нашивочников предложил использовать «классические» семь шагов, включающих инвентаризацию ИТ-активов и выстраивание управления ими, оценку соответствия требованиям регуляторов и стандартов в области ИБ, выстраивание процесса управления уязвимостями, реализацию мер по усилению безопасности систем (харденинг), мониторинг уязвимостей и конфигурационных дрейфов, реагирование на инциденты ИБ, а также проверку эффективности мер ИБ и их соответствия установленным стандартам, включая проверки аудит ИБ, проведение пентестов и пр.

ИИ в КИИ Сбербанка

Другой продвинутый корпоративный пользователь ИИ-систем — Сбербанк — ведет активную внутреннюю разработку собственных ИИ-систем и решений на их базе.

Как рассказал Петр Хенкин, управляющий директор, начальник управления кибербезопасности ИИ департамента кибербезопасности, при выстраивании защиты ИИ-систем следует выделить три очень важных слоя: «Первое — это предотвращение вреда от самих систем с ИИ: нужно проверить, насколько правильно обучена модель, и если требуется, провести ее дообучение. На основании этого строится следующий слой — так называемая функциональная корректность, на этом уровне необходимо проверить правильность решения различных задач на конкретных датасетах. И третий слой — защита ИИ-систем от нарушителей, от различных угроз».

Петр Хенкин: «Если мы приступаем к разработке ИИ-моделей, то нам необходимо переходить от классического производственного конвейера к тому, что мы называем AISecOps»

Хенкин также перечислил зарекомендовавшие себя в мире базовые меры безопасности ИИ-продуктов. Среди организационных мер — контроль физического доступа к критичным активам, обучение сотрудников и повышение осведомленности в области безопасности ИИ, а также контроль пользователей и систем с привилегированными правами доступа и чувствительных операций. Среди практик безопасной разработки ИИ-решений — проведение комплексного моделирования атак на ИИ-системы до их сдачи в эксплуатацию, контроль доступа к критичным данным, моделям и средам разработки, выстраивание собственного цикла безопасной разработки ИИ-систем и их жизненного цикла после передачи в эксплуатацию, и кроме того, привлечение независимых экспертов к обнаружению уязвимостей в ИИ-продуктах и использование внешних программ поиска уязвимостей. Для защиты ИИ-решений после их сдачи в эксплуатацию следует выстроить процессы мониторинга и реагирования на инциденты, определить правила и ограничения, обеспечивающие безопасность и соответствие стандартам при использовании ИИ, развернуть инструменты для отражения известных атак на ИИ-системы, а также внедрить состязательное тестирование для выявления уязвимостей, ошибок и неожиданного поведения ИИ-систем и комплексное моделирование атак на них.

«Если говорить про внедрение технологий ИИ в масштабе такой крупной организации, как Сбер, то, конечно же, в первую очередь необходимо выстраивать систему управления кибербезопасностью», — продолжил Хенкин. Эта система должна включать правила, процессы, персонал, а также технологии и средства защиты информации. Очень важно, подчеркнул он, чтобы эта система управления была цельной и полной, чтобы в ней присутствовали все компоненты. И, конечно же, нужно описать модель угроз для кибербезопасности. Например, модель угроз Сбера охватывает около 70 угроз. «В ближайшее время мы выпустим обновленную модель угроз, которая разрабатывается с учетом развития и агентных, и мультиагентных систем», — добавил Хенкин.

Как отдельный важный вопрос он отметил трансформацию процессов DevSecOps в AISecOps: «Если мы приступаем к разработке ИИ-моделей, то нам необходимо переходить от классического производственного конвейера, когда у нас есть идеи, требования, архитектура, и лишь в конце появляется SOC, к тому, что мы называем AISecOps — это некая надстройка над процессом DevSecOps. Процесс AISecOps имеет определенную соответствующую специфику — это в первую очередь данные, разработка моделей, их валидация и затем возвращение в производственный конвейер DevSecOps». Для мониторинга угроз ИИ-систем необходим AI SOC, который будет работать в связке с основным SOC и обеспечит выявление специфичных для ИИ-систем угроз и реагирование на них.

Национальные особенности регулирования ИИ

Павел Кузнецов: «Единственный нормативный документ в России, где есть четкое определение ИИ, — это Национальная стратегия развития искусственного интеллекта на период до 2030 года»

Описывая особенности регулирования использования ИИ в КИИ, Павел Кузнецов, член Национальной Ассоциации международной информационной безопасности (НАМИБ), отметил, что, например, в США государство очень слабо вмешивается в эти вопросы. Предыдущая американская администрация готовила законопроект, предусматривавший регулирование применения ИИ, однако нынешняя администрация, придя к власти, его заморозила. По мнению Кузнецова, ее позиция заключается в том, чтобы минимизировать факторы, блокирующие развитие ИИ. При этом ставится задача обеспечить приоритетное применение ИИ в военных целях.

В Китае принят достаточно мягкий, но весьма замысловатый подход к ИИ. В Южной Корее основное внимание регуляторов приковано к конкретным практическим вопросам. Более зрелым и проработанным по сравнению с США и Китаем назвал Кузнецов закон об ИИ, принятый в ЕС. Значительные усилия в подготовке законодательной базы для ИИ прикладывает АСЕАН.

По словам Кузнецова, далеко не во всякой стране законодательство дает хотя бы четкое понятие искусственному интеллекту: «В частности, в Китае нет всеобъемлющего определения, что же такое ИИ. В Японии и России эта проблема также присутствует. Единственный нормативный документ в России, где есть четкое определение ИИ, — это Национальная стратегия развития искусственного интеллекта на период до 2030 года, но она не является федеральным законом».