Инфраструктура для ИИ: какую модель развертывания выбрать

Какие факторы и какие риски следует учесть, выбирая между локальным размещением ИИ-модели и ее развертыванием в гибридном либо публичном облаке? Какие особенности ландшафтов данных и приложений важно не упустить из виду при оценке оптимального варианта развертывания инфраструктуры для ИИ? Какие меры помогут не стать заложниками неверных решений в отношении ИИ-модели? На эти и другие вопросы мы попросили ответить экспертов, планирующих принять участие в конференции «Цифровая инфраструктура ― 2026».

Как и ожидалось, в качестве одного из ключевых факторов эксперты выделяют наличие у организации данных тех категорий, что попадают под ограничения регуляторов (персональные, медицинские, финансовые и пр.): если такие данные имеются, то целесообразность их передачи в облачные ИИ-модели оказывается под большим вопросом. Да, есть конфиденциальные вычисления и другие технологии защищенной обработки данных, позволяющие достаточно безопасно обрабатывать чувствительную информацию в облаке, но их применение в каждом случае приходится рассматривать и обсуждать отдельно.

Кроме того, многие эксперты обращают внимание на риски, связанные с сильной зависимостью от конкретного облачного провайдера. Они, в частности, могут проявиться, если потребуется перенос ИИ-модели от одного провайдера к другому или на локальную площадку: для сложных моделей, особенно тех, что изначально настроены на использование уникальных сервисов конкретного провайдера, такой перенос может оказаться весьма непростым и дорогостоящим.

Отталкиваться от бизнес-задач

Ряд экспертов предлагает в ходе выбора в первую очередь исходить из спектра задач, которые организация планирует решать с помощью ИИ-моделей.

Александр Ефимов: «Чтобы содержать собственную инфраструктуру, нужно иметь команду сильных инженеров и администраторов»

Александр Ефимов, директор практики искусственного интеллекта и машинного обучения в компании GlowByte, рекомендует отталкиваться от бизнес-логики, поэтому следует рассмотреть четыре ключевых фактора: «Первый и главный — это данные: если есть регуляторные ограничения, то вопрос об ином, кроме локального, развертывании часто даже не обсуждается. Простой пример: для подготовки резюме внутренней встречи, на которой могут обсуждаться конфиденциальные вопросы, необходимо загрузить в ИИ-модель запись этой встречи, и если модель находится вне локального периметра организации, то потенциально есть риск утечки данных. Второй — это нагрузка на видеокарты: если ИИ-модель работает в режиме 24/7 и нагрузка на нее стабильна, то уже через полтора-два года капитальные затраты на собственный сервер станут ниже стоимости облачной аренды. В качестве компромиссного варианта можно рассмотреть набирающую популярность услугу аренды сервера, который можно разместить в локальном ЦОД. Третий и четвертый — это наличие экспертизы и зависимость от провайдера. Снизить зависимость поможет использование нескольких разных облачных провайдеров, оно позволит балансировать резкие изменения их тарифов. Чтобы содержать собственную инфраструктуру, нужно иметь команду сильных инженеров DevOps/MLOps и администраторов, поскольку их отсутствие будет ключевым риском».

Антон Прокошин: «Чем теснее модель связана с внутренними процессами и критичными данными, тем логичнее размещать ее локально или в гибридном облаке»

Антон Прокошин, руководитель направления «Пресейл» центра «Инфраструктура» компании «ЛАНИТ-Интеграция», считает, что главное — это понять, в каких условиях находится организация и какие задачи решает: «Из плюсов локального размещения — полный контроль над данными и безопасностью, возможность точно прогнозировать затраты при постоянных нагрузках и отсутствие зависимости от внешних провайдеров и сетевых задержек, из минусов — большие начальные затраты на оборудование, необходимость в собственной команде специалистов, а также то, что обновление оборудования и ПО ложится на саму организацию или ее подрядчиков. Среди плюсов облака — возможность быстрого старта с относительно небольшими затратами, высокая масштабируемость и доступность нового оборудования и актуальных фреймворков, среди минусов — риски утечки данных от внешнего поставщика, возможные задержки при доступе к данным, а также риск того, что при постоянных нагрузках ежемесячные платежи могут оказаться выше расходов на покупку серверов. Принимая решение о размещении ИИ-модели, важно учитывать тип и характер данных (чем теснее модель связана с внутренними процессами и критичными данными, тем логичнее размещать ее локально или в гибридном облаке), географию пользователей, специфику интеграции модели с другими системами (чем сложнее связи, тем труднее работать через облако) и характер нагрузки — постоянная (тогда предпочтительнее локальное размещение) или переменная (лучше гибридное или облачное). К ключевым рискам при выборе размещения, помимо регуляторных и тех, что связаны с зависимостью от провайдера, следует отнести недооценку объема данных (передача больших объемов в облако может быть дорогой и медленной), а также быструю смену технологий: только что купленное оборудование может устареть уже через пару лет».

Максим Ковтун: «Задачи следует рассматривать с учетом объема данных для обучения ИИ, их доступности, потребностей в масштабировании и т.д.»

Максим Ковтун, директор департамента проектирования и разработки IBS, соглашаясь с коллегами, на первое место среди критериев ставит состав текущих и будущих задач, решаемых в организации с использованием продуктов на базе ИИ. Задачи при этом следует рассматривать с учетом объема данных для обучения ИИ, их доступности, потребностей в масштабировании и т.д. Вторым критерием Максим называет совокупную стоимость владения решением (TCO), третьим — вопросы безопасности, в первую очередь степень критичности приложений и конфиденциальности данных, а также имеющие для безопасности значение детали передачи данных во внешние модели. «Задумываться о локальном размещении общекорпоративных ИИ-решений стоит компаниям с высоким уровнем зрелости ИТ, богатым опытом выстраивания CI/CD и ITSM, а также тем, кто готов к платформенному подходу и обладает базовыми практиками внедрения инструментов информационной безопасности, — добавляет Ковтун. — Гибридный формат предпочтителен, например, для задач обучения модели в облаке с последующим ее локальным использованием».

Особое значение имеет ландшафт данных

Многие эксперты обращают особое внимание на особенности ландшафта данных в организации.

Вадим Солдатов: «Выбор инфраструктуры для ИИ неразрывно связан с подходами к управлению данными и жизненным циклом используемых ИИ-моделей»

«Вопросы выбора инфраструктуры для ИИ неразрывно связаны с подходами к управлению данными и жизненным циклом используемых ИИ-моделей, — поясняет Вадим Солдатов, директор офиса ИИ-продуктов Группы Arenadata. — Речь идет не только о доступе к исходным данным, но и о пайплайнах для обработки и доставки данных как с целью тренировки моделей и валидации, так и непосредственно для использования — ведь наверняка потребуется интеграция с системами хранения, инструментами оркестрации (например, Apache Airflow или NiFi) и реестрами моделей, обеспечивающих контроль версий и автоматизацию развертывания моделей. Еще один аспект —готовность использовать облачные сервисы в целом. Приняв решение о применении облачной инфраструктуры для одного вида нагрузок (например, машинного обучения), будет логично использовать ее и для смежных задач — обработки данных с помощью облачных сервисов ETL/ELT, хранения признаков и свойств модели в централизованном реестре или создания API для последующего доступа к моделям. Кроме того, облачные провайдеры часто предлагают дополнительные сервисы для управления, в том числе конфигурирования квот использования, версионирования моделей, разграничения доступа и пр. Поэтому выбор будет зависеть не только от того, соответствует ли политикам предприятия размещение данных за периметром организации, но и от наличия средств и опыта для управления моделями в продуктивной эксплуатации и, безусловно, доступности аппаратных средств — GPU или специализированных ускорителей. В определенных сценариях может иметь значение и скорость доступа к модели: если задержка ответа критична, то потребуется оптимизация инференса с помощью соответствующих библиотек».

Дмитрий Васильев: «Ключевым аспектом является ландшафт данных»

Дмитрий Васильев, менеджер по продуктам направления ИИ компании «Онланта», предлагает в ходе анализа учитывать возможности контроля, гибкость, стоимость и операционную сложность: «Ключевым аспектом здесь является ландшафт данных. Например, если данные генерируются в огромных объемах, то их передача в облако может быть долгой и дорогой, создавая эффект “дата-гравитации”. В этом случае следует применять гибридную модель, позволяющую отправлять в облако не “сырые” данные, а предварительно обработанные выборки для обучения моделей. Не менее важен и ландшафт приложений. Для систем, требующих сверхнизкой задержки, таких как робототехника или дополненная реальность, локальный инференс остается безальтернативным вариантом, обеспечивая автономность и мгновенный отклик. В свою очередь, публичное облако дает неограниченную эластичность для проведения экспериментов и обучения сложных моделей, но ставит в зависимость от качества каналов связи. В гибридном подходе делается попытка совместить использование локальных мощностей для быстрого инференса и облачных — для масштабируемого обучения».

Владимир Кравцев: «Главный риск при локальном развертывании — недооценка TCO инфраструктуры и поддержки»

Владимир Кравцев, эксперт в области генеративного ИИ и продвинутой аналитики компании Axenix, призывает обратить особое внимание на задержку сигнала в сети: «Для систем, работающих в реальном времени, каждая миллисекунда на счету, тогда как облачная инфраструктура, даже самая быстрая, вносит в передачу данных задержки. Также важно реалистично оценить объем обрабатываемых данных, частоту обновления ИИ-моделей и наличие у компании GPU-мощностей и ИТ-компетенций для их обслуживания: их формирование и поддержка требует серьезных вложений, в отличие от облачного развертывания с его более низким порогом вхождения. Главный риск при локальном развертывании — недооценка полной стоимости владения (TCO) инфраструктуры и поддержки: компании часто забывают про расходы на электроэнергию, охлаждение, физическую безопасность и, главное, зарплаты команды, которая будет это все поддерживать. Также стоит уделить внимание ландшафту существующих данных и приложений: легко ли будет интегрировать ИИ-решение в текущую инфраструктуру, какие есть ограничения по масштабированию, как организованы потоки данных и пр. Игнорирование этих аспектов на начальном этапе может привести к серьезным проблемам при масштабировании проекта».

Авенир Воронов: «Быстрая эволюция ИИ требует постоянного обновления компетенций и специализаций»

Как отмечает Авенир Воронов, руководитель лаборатории инноваций «ДАР» (ГК «КОРУС Консалтинг»), многочисленные примеры сбоев в ИТ-инфраструктурах крупных компаний и стратегических объектов демонстрируют уязвимость локального размещения, а также очевидные сложности с обеспечением безопасности и стабильности в тех компаниях, чей профильный бизнес не связан с ИТ. Кроме того, уход с рынка либо снижение качества услуг иностранных провайдеров облаков для российских клиентов вынуждает использовать в первую очередь отечественные технологии. Применять западные тоже реально, но их приходится постоянно и очень серьезно перепроверять. «Весомыми факторами при использовании ИИ являются также высокая стоимость оборудования и дефицит квалифицированных специалистов при том, что быстрая эволюция ИИ требует постоянного обновления компетенций и специализаций, — добавляет Воронов. — Таким образом, старые проверенные подходы не работают, а подходы на основе ИИ еще не стабилизировались и требуют при принятии технических решений тщательного анализа бизнес-процессов и выгоды от использования ИИ».

У разных организаций — разные приоритеты

Впрочем, очень большое значение имеют особенности и требования конкретных организаций — этот фактор также отметили многие эксперты.

Сергей Карпович: «Когда речь идет о развертывании инфраструктуры для локальных ИИ-моделей, выбор между локальным размещением, гибридным и публичным облаками может стать поворотным моментом для бизнеса»

«Когда речь идет о развертывании инфраструктуры для локальных языковых моделей (LLM) и моделей машинного обучения, выбор между локальным размещением, гибридным и публичным облаками может стать поворотным моментом для бизнеса, — делится наблюдениями Сергей Карпович, заместитель руководителя направления Т1 ИИ (ИТ-холдинг Т1). — Это не просто техническое решение — это баланс между контролем, гибкостью и рисками. Локальное развертывание дает полный контроль над данными, что идеально для отраслей с жестким регулированием. Вариант с публичным облаком накладывает свои ограничения на возможности обработки данных и, соответственно, использования в задачах компании. Гибридное облако позволяет чувствительные данные обрабатывать локально, а менее критичные — в облаке. С точки зрения производительности локальное развертывание минимизирует задержки, если данные и приложения распложены близко к пользователю. Публичное облако может иметь переменную латентность из-за сетевых проблем, особенно в регионах с плохим интернетом. С другой стороны, облако позволяет развернуть модель за часы, а не месяцы, как при реализации локального варианта. Быстроразвивающимся ИИ-проектам гибридный вариант дает свободу экспериментировать без полного отказа от локальных преимуществ. Важно помнить, что приложения ИИ часто приходится интегрировать с существующими системами, и в этом плане локальное размещение обеспечивает бесшовную совместимость. Вместе с тем, публичное облако предлагает дополнительные инструменты для упрощения создания ИИ-решений, ускоряя внедрение ИИ в компании. В целом выбор зависит от профиля риска организации и ее бизнес-целей: стартапам с малым бюджетом лучше использовать публичное облако, корпорациям с чувствительными данными — локальный или гибридный вариант. Впрочем, это не окончательный выбор. Многие компании эволюционируют от локального к гибридному размещению, адаптируясь к росту ИИ-модели».

Как видим, регуляторные требования являются далеко не единственным фактором, влияющим на выбор варианта размещения ИИ-модели. В списке факторов присутствует множество требований и особенностей, условий и обстоятельств, целей и задач. Проанализировать их важно хотя бы для того, чтобы избежать неблагоприятных ситуаций, которые могут возникнуть вследствие неверно принятых решений относительно размещения модели.