Когда рост данных замедляет бизнес: два инфраструктурных вызова — один платформенный подход

Развитие бизнеса неизбежно приводит к усложнению данных и увеличению их объёма. Казалось бы, это должно стимулировать ускорение разработки и развитие продуктов. На практике же организации сталкиваются с противоположной ситуацией: инфраструктура превращается в набор плохо интегрируемых элементов, расходы на её поддержку растут, а управление архитектурой требует всё бóльших усилий.

В статье рассмотрим, как развитие данных тормозит бизнес и как вернуть контроль над инфраструктурой данных.

Почему управление данными становится сложнее?

Ландшафт ИТ-систем, ответственных за хранение и обработку данных, переживает активную трансформацию. Крупный бизнес проходит через масштабную диджитализацию: объёмы информации растут, запускаются ИИ-сценарии, расширяется портфель цифровых продуктов. Всё активнее организации переходят на гибкие архитектуры, базирующиеся на приватных и публичных облаках. Подобные окружения строятся по принципу самообслуживания, когда инфраструктура развёртывается по запросу, минуя платформенные команды.

Параллельно с этим усиливается тенденция на технологический суверенитет. Растёт количество российских продуктов: появляются новые альтернативные вендоры storage-систем и серверного оборудования, обновляются СУБД и аналитические системы.

Трансформируются и сами паттерны построения архитектур. Традиционные озёра данных (Data Lake) и хранилища (Data Warehouse) уступают позиции гибридному формату Lakehouse. Универсальные решения замещают классические реляционные СУБД. Увеличивается разнообразие средств для аналитики, отчётности и потоковой обработки. Данные превращаются в стратегический ресурс, требующий системного подхода.

Все эти факторы формируют препятствия, возникающие перед организациями при создании и развитии ИТ-ландшафта.

Хранение данных и вычисления — это дорого

Рост объёмов данных приводит к увеличению финансовой нагрузки на организации — увеличиваются затраты на оборудование и его обслуживание. Появляются сложности с поиском квалифицированных кадров. Серверные мощности задействованы частично, купленное программное обеспечение не используется в полной мере, а традиционные технологии (типа Greenplum, Hadoop, MapReduce) требуют значительных усилий в эксплуатации и плохо масштабируются. Аналогичная ситуация складывается с транзакционными базами — стоимость их поддержки растёт при низкой загрузке оборудования.

Разрыв между архитектурой и потребностями бизнеса

Команды разработки стремятся к ускорению процессов: внедряют гибкие решения, самостоятельно управляют ресурсами, некоторые используют DBaaS-модели. Однако подобная архитектура, несмотря на кажущуюся инновационность, зачастую оказывается неспособной обработать фактическую нагрузку. Цели бизнеса по быстрому запуску новых продуктов остаются недостижимыми из-за отсутствия продуманной инфраструктуры для обработки данных. Как следствие, замедляется выход продуктов на рынок, ухудшается пользовательский опыт и общая производительность.

Как минимизировать риски?

Альтернативой разрозненным решениям и сложной интеграции несовместимых элементов должна стать единая архитектура, способная гибко адаптироваться к будущим нагрузкам и требованиям. И ключевая сложность заключается не в проектировании такой платформы, а в её эксплуатации — именно на этом этапе происходят обновления версий, изменения конфигурации, обработка инцидентов.

Ежедневная эксплуатация становится ключевым фактором риска стабильности инфраструктуры:

Накопление технического долга. Любое ручное изменение инфраструктуры, нестандартизированная конфигурация или временное решение накапливают сложность системы.

Снижение производительности. При увеличении нагрузки требуются постоянная настройка, оптимизация и перераспределение ресурсов.

Сложные обновления. Переход на новые релизы и изменение конфигурации становятся рискованными операциями.

Рост стоимости эксплуатации. Эксплуатация вручную отнимает рабочее время инженеров и увеличивает операционную нагрузку.

Концепция платформенной инженерии предполагает управление платформой как единой системой, а не как набором отдельных компонентов. Такой подход встраивает сценарии эксплуатации непосредственно в архитектуру, обеспечивая автоматизацию, наблюдаемость, безопасность и стандартизированный lifecycle.

Узнайте больше о том, как создать предсказуемую, надёжную и отказоустойчивую инфраструктуру, повышая её эффективность и осознанно управляя ценностью данных, из доклада владельца продукта Deckhouse Managed Services Алексея Быкова «Сложные системы без сложной эксплуатации: автоматизация как основа платформы данных».

Deckhouse Data Orchestration — модули экосистемы Deckhouse, которые открывают перед пользователями новые сценарии работы с данными, в том числе Managed Services, Storage, DBaaS. Решение позволяет трансформировать классические СУБД в облачные сервисы и строить отказоустойчивые распределённые хранилища c использованием архитектуры озёрного хранилища данных (Lakehouse) в единой Kubernetes-инфраструктуре. Всё это помогает сократить стоимость инфраструктуры, упростить сопровождение систем и повысить устойчивость распределённых сред.