Добыча данных, хранилища данных

Взрывной рост объема получаемых и накапливаемых в компаниях данных, а также увеличение потребителей информации вынуждает пересматривать требования к аналитическим платформам, отказываясь от традиционных архитектур в пользу таких новых принципов, как lakehouse – объединения на одной платформе преимуществ корпоративного хранилища и озера данных для сокращения времени на создание новых сценариев анализа данных и снижения стоимости владения.

Усложнение и развитие систем работы с данными, внедряемыми в рамках проектов импортозамещения, означает решение новых задач – по сути, речь идет о изменении самих подходов к владению данными. Переход от разрозненных хранилищ к платформам данных требует специфических решений по каталогизации, управлению, организации разработки и обеспечению безопасности. Компаниям экономики данных требуется не просто импортозамещение «как есть», а качественное изменение корпоративных ИТ-ландшафтов.

Традиционные системы хранения не могут расширяться бесконечно или хотя бы достаточно быстро, что особенно критично для задач глубинного обучения, в случае когда данных больше, чем может поместиться на одной машине. Поэтому для поддержки работы с большими данными все чаще применяются распределенные горизонтально масштабируемые архитектуры хранения и обработки в памяти.

Создание озер научных данных актуально сегодня для всех стран, претендующих на ведущие роли в научных сообществах. В противном случае ученые из таких стран потеряют возможность контроля над хранимыми в рамках федерации данными.

Различные данные имеют для компании разную ценность, и затраты на их хранение должны быть адекватными. Ошибки в определении реальной ценности и востребованности данных в лучшем случае сведут на нет попытки сэкономить, а в худшем — приведут к рискам.

Переход от монолитных ИТ-систем к слабо связанным сервисным архитектурам влечет за собой пересмотр отношения к данным и информации.

KDD — обнаружение знаний в базах данных — реальный способ повышения эффективности работы. Вопрос не в том, нужны ли такие технологии, а в том, как их применить в каждом конкретном случае.