Доступность инструментов для создания дипфейков привела к резкому росту числа дезинформационных атак, направленных против предприятий. Модели ИИ явно имеют потенциал для создания дипфейковых текстов, потенциально способных привести к репутационным рискам, финансовым потерям, нарушению безопасности и краже личных данных. Дезинформационные атаки способны нанести значительный ущерб любой организации, и, как следствие, по мнению аналитиков, через три года в каждой второй компании будет развернуто «антифейковое» решение. Среди таких решений обнаружения дипфейков — российская платформа aIDeepFake. Об истории создания и перспективах платформы, призванной помочь в выявлении подделанного мультимедиаконтента, используемого мошенниками для совершения преступлений, рассказывает Екатерина Корнюшина, генеральный директор компании «Эй Ай Дипфейк» и обладатель приза в специальной номинации премии Data Award 2025.

Екатерина Корнюшина: «Появление новых методов обнаружения дипфейков стимулирует развитие и технологий их создания — идет непрерывная гонка»

Как возник проект aIDeepFake?

В 2023 году я принимала участие в заседаниях Совета Федерации по вопросам разработки законопроекта в области регулирования технологии искусственного интеллекта. Именно тогда мы поняли, с какими вызовами с развитием ИИ может столкнуться страна, и у нас родилась идея разработать систему противодействия мошенничеству и выявления фальсифицированного контента. Дипфейки несут существенные этические и иные риски из-за их потенциального неправомерного использования. Например, поддельное видео, в котором генеральный директор делает ложные заявления или раскрывает секретную информацию, может повлиять на котировки акций компании и доверие заинтересованных сторон. Однако сегодня, когда с помощью генеративных нейросетей для клонирования человеческого голоса достаточно 15 секунд аудиозаписи оригинала, особенно уязвимыми становятся сферы, где традиционно применяется биометрическая идентификация. Например, в финансовой индустрии все активнее используются голосовые платформы идентификации для верификации клиентов в сервисных центрах банков; авторизации доступа в мобильных приложениях; подтверждения финансовых операций; голосовых транзакций и переводов. Подобные решения разрабатывают такие зарубежные производители, как Nuance (Microsoft), Nice, Verint, ID R&D и Auraya, а также отечественные компании «Сбер» и ЦРТ («Центр речевых технологий»). Все эти платформы уязвимы к атакам с использованием синтетических голосов.

В этой связи возникает острая необходимость в детекции дипфейков и превентивных решениях, способных в реальном времени предотвратить потенциально вредоносные действия. Именно для этого и предназначена наша система, выступающая дополнительным уровнем цифровой кибербезопасности.

В чем проблема выявления дипфейков?

Современные технологии генерации дипфейков используют сложные алгоритмы машинного обучения, например генеративно-состязательные сети (GAN), построенные на базе глубинного обучения и имитирующие состязание двух нейронных сетей в генерации наиболее реалистичного контента на базе заданного обучающего набора. Подобные алгоритмы могут создавать достаточно качественные и реалистичные мультимедиа, что затрудняет идентификацию их подлинности человеком. Существует множество способов создания дипфейков: изменение выражения лица, синхронизация движений, изменение звука и пр. Такое многообразие методов существенно усложняет разработку универсальных инструментов обнаружения подделок.

Как только появляются новые методы обнаружения дипфейков, то сразу появляются и технологии их создания — в этой сфере идет постоянная гонка. Для обнаружения дипфейков может потребоваться анализ не только визуальных, но и аудиоданных, а также контекста, в котором была создана оригинальная запись, что требует сочетания различных технологий и подходов. Мультимодальный анализ (Multimodal AI) — технология одновременного анализа и синхронизации нескольких видов данных (модальностей) для повышения точности и устойчивости детекции. В случае с дипфейками и системами безопасности это означает: анализ лица, мимики, движений глаз, глубины изображения и фона; тембр речи, интонация, паузы, дыхание, признаки синтеза. Все это позволяет обнаружить рассинхронизацию видео и аудио, когда движение губ не совпадает с тактом речи; выявить инконсистентность (отсутствие моргания, неестественное дыхание, «плоская» речь); повысить точность — разные модальности подтверждают выводы друг друга. В результате можно повысить устойчивость к атакам — дипфейки обычно хорошо имитируют лишь одну модальность, как, например, в атаке типа Liveness, когда для обмана системы распознавания злоумышленник использует видео или фото другого человека. Типичные способы реализации Liveness Attack: видеоатака (Replay Attack) — злоумышленник показывает заранее записанное видео лица жертвы в попытке обмануть систему распознавания; фотоатака — используется высококачественная фотография жертвы, иногда в 3D или с вырезанными глазами для повышения реалистичности; Deepfake-атака — синтетически сгенерированное видео с подмененным лицом или голосом; атака маской — надевается силиконовая, 3D-печатная или цифровая маска (AR/VR) для имитации внешности жертвы; голосовая атака — воспроизведение аудиозаписей или использование клонированного синтетического голоса.

Гораздо опаснее атака на биометрию, при которой злоумышленник пытается атаковать момент захвата изображения лица с помощью заранее подготовленных фейков. Здесь происходит подмена исходного видеопотока или изображения через соединение и наложение существующих изображений и видео на исходные в момент передачи или загрузки данных. Могут применяться такие действия, как Face Reenactment — перенос выражения лица, Face Synthesis — генерация лиц, Face Swap — перенос изображения лица, Lip sync — синхронизация движения губ и звукового ряда.

Архитектура платформы aIDeepFake

Мы разработали собственную мультимодальную архитектуру нейросети с несколькими трансформерами. На вход сети подается несколько модальностей — видео и аудио.

Архитектура платформы aIDeepFake

Платформа реализована на языке Python, а в качестве фреймворков машинного обучения используются PyTorch, TensorFlow и Transformers. Для обучения и инференса мультимодальных моделей, создания датасетов и генерации дипфейков применялись GPU Nvidia A100 и Nvidia RTX 4090. Можно применять и облачные ресурсы, но мы использовали собственные вычислительные мощности, необходимые в процессе обучения нейронных сетей, когда требуется обработка больших объемов данных и выполняется многократное обновление весов модели с помощью GPU или специализированных ускорителей (TPU). Однако после завершения этапа обучения на стадии инференса, требования к вычислительным ресурсам значительно ниже — модель может работать уже на обычных CPU или в мобильных устройствах.

Проект был реализован за 18 месяцев командой из 20 специалистов. Были собраны собственные обучающие наборы на базе распространенных генераторов видео- и аудиодипфейков, а также использованы общедоступные датасеты.

Технология aIDeepFake отличается от подобных решений, таких как OpenAI Deepfake Detector, Intel FakeCatcher, Sensity AI и DuckDuckGoose AI Voice Detector. Во-первых, в платформе сочетаются методы компьютерного зрения, анализа аудио и технологии машинного обучения, позволяющие обеспечить всестороннее обнаружение дипфейков (мультимодальный подход). Во-вторых, имеется модуль, в режиме реального времени отслеживающий подмену видеопотока на дипфейк. Этот модуль подключается к видеопотоку (например, через WebRTC, RTMP, RTSP или локальную камеру) и анализирует последовательность кадров (30 кадров в секунду). Наконец, в aIDeepFake имеется модуль «Обоснованные суждения», который на основе всех выводов формирует пояснения с описанием причин, по которым контент был признан поддельным.

Какова точность aIDeepFake?

Точность работы детектора составляет 92–100%. Площадь под кривой ROC, позволяющей оценить качество классификации, равна 0,983 для видео и 0,996 для аудио, что сравнимо с лучшими алгоритмами распознавания дипфейков. Например, Pindrop Security (обнаружение речи, сгенерированной ИИ) имеет точность 99%, а инструмент от OpenAI, предназначенный для идентификации сгенерированных изображений, особенно модель типа DALL-E 3, работает с точностью 98,8%.

Портрет типичного пользователя aIDeepFake?

У платформы имеется несколько целевых рынков и категорий клиентов.

В корпоративном секторе — это банки, заинтересованные в защите своего бренда и репутации. Банки сегодня активно реализуют проекты по борьбе с мошенничеством, аутентификации и проверке платформ телефонии, а также совершенствуют процесс «знай своего клиента» (Know Your Customer). Например, в феврале 2024 года в Гонконге сотрудник крупной международной компании перевел мошенникам более 25 млн долл. после видеозвонка от поддельного «финансового директора». В ОАЭ менеджер одного из филиалов банка получил звонок от якобы владельца крупной компании — при помощи подделанного голоса мошенники убедили сотрудника банка, что предприятие находится в процессе заключения крупной сделки, и заставили перевести более 35 млн долл. на поддельные счета.

Другая группа клиентов — государственные структуры, для которых важно обеспечить достоверность управленческой и политической информации. Здесь можно отдельно выделить пласт работ по борьбе с политической дезинформацией.

Следующее направление — медиаиндустрия. Здесь критически важно обеспечить доверие аудитории к публикуемому контенту и к цифровому миру в целом. Очень актуальна поверка контента на этапе модерации.

Решение работает «из коробки»?

Согласно требованиям информационной безопасности, обученная нейросеть разворачивается в закрытом контуре заказчика на серверах и по внутреннему API подключается к системам. Не требуется доработки и настройки под специфику заказчика. При необходимости обновления модели могут предоставляться централизованно по мере развития алгоритма на основе агрегированных обезличенных данных; любые дополнительные доработки проходят через процедуру согласования и соблюдения требований информационной безопасности. Конечно, в рамках адаптации под конкретные задачи заказчика предусмотрена возможность дополнительного обучения (дообучения) моделей на основе данных, предоставленных заказчиком, что позволяет повысить точность и эффективность работы алгоритмов в конкретных условиях эксплуатации, включая особенности речевого материала, аудио/видеооборудования или сценариев применения.

Екатерина Корнюшина: «Для точного обнаружения дипфейков может потребоваться не только анализ визуальных и аудиоданных, но и исследование контекста, в котором они были созданы»

Имеются ли уже внедрения системы?

Первый релиз платформы вышел только в начале декабря 2024 года, и на данный момент мы находимся на этапе переговоров о пилотных внедрениях с рядом крупных отечественных банков, а также финансовых учреждений СНГ. Кроме того, о своей заинтересованности заявили более десятка коммерческих компаний. Основная сфера пилотирования платформы aIDeepFake — это финтех, и сейчас мы находимся в стадии переговоров с несколькими корпорациями и образовательными учреждениями.

Детекторы дипфейков помогают в выявлении подделанных видеозаписей и изображений, используемых мошенниками для совершения преступлений, таких как кража личных данных. Если говорить о финансовой отрасли, то с учетом роста онлайн-услуг банки все чаще используют биометрическую идентификацию — детекторы могут повысить безопасность таких процессов, предотвращая использование подделанных видеозаписей для доступа к счетам. Технологии проверки идентификации клиентов помогают банкам выполнять требования регуляторов в сфере противодействия отмыванию денег (Anti-Money Laundering) и финансированию терроризма (Counter Financing of Terrorism). Кроме того, внедрение технологий детекции дипфейков может быть сопутствующим обучающим инструментом для сотрудников при повышении их осведомленности о современных угрозах и методах защиты от них. Внедрение в банковскую практику детекторов дипфейков может улучшить общую безопасность и доверие к финансовым услугам, а также повысить эффективность работы банка.

Как можно оценить финансовый эффект от внедрения детекторов?

В ходе исследования, проведенного компанией Regula совместно с Sapio Research в начале 2023 года, ежегодные убытки каждого банка из-за дипфейк-атак и виртуальных камер оценивались в среднем в полмиллиона долл. С тех пор проблема стала еще острее. Более 30% банковских организаций подвержены таким атакам на виртуальные камеры. Важность внедрения систем детекции дипфейк-контента трудно недооценить.

В каком направлении будет развиваться платформа aIDeepFake?

В наших планах — усовершенствование архитектуры нейросети и обучение ее распознаванию физических явлений реального мира. Технологии быстро совершенствуются, например, недавнее исследование показало, что некоторые модели deepfake могут создавать видео, показывающее индикаторы сердечного ритма, похожие на человеческие. Инструменты обнаружения, которые полагаются на идентификацию таких тонких сигналов, как пульс, ошибочно классифицировали поддельные видео как подлинные. В этой связи дообучение и совершенствование методов распознавания дипфейков — одна из наших ключевых стратегических задач.

Николай Смирнов (nsmirnov@osp.ru) — независимый автор (Москва).