Добыча данных, хранилища данных

Развертывание единого хранилища данных, объединяющего данные из нескольких крупных монолитных систем, позволяет организациям получить гибкий и масштабируемый ИТ‑ландшафт. Однако переход к микросервисной архитектуре сам по себе не гарантирует улучшения качества данных, напротив, без переосмысления подходов к управлению данными часто приводит к росту числа инцидентов и усложнению процессов анализа их причин.

Данные – ключевой актив компаний, однако их накопленный объем еще не означает эффективного управления, повышению которого препятствуют проблемы с доступностью, производительностью и интерпретацией данных. Для решения подобных проблем необходимо разделить работу с данными по уровням управления, на каждом из которых применяется свой индивидуальный подход к процессам и инструментам.

Взрывной рост объема получаемых и накапливаемых в компаниях данных, а также увеличение потребителей информации вынуждает пересматривать требования к аналитическим платформам, отказываясь от традиционных архитектур в пользу таких новых принципов, как lakehouse – объединения на одной платформе преимуществ корпоративного хранилища и озера данных для сокращения времени на создание новых сценариев анализа данных и снижения стоимости владения.

Усложнение и развитие систем работы с данными, внедряемыми в рамках проектов импортозамещения, означает решение новых задач – по сути, речь идет о изменении самих подходов к владению данными. Переход от разрозненных хранилищ к платформам данных требует специфических решений по каталогизации, управлению, организации разработки и обеспечению безопасности. Компаниям экономики данных требуется не просто импортозамещение «как есть», а качественное изменение корпоративных ИТ-ландшафтов.

Традиционные системы хранения не могут расширяться бесконечно или хотя бы достаточно быстро, что особенно критично для задач глубинного обучения, в случае когда данных больше, чем может поместиться на одной машине. Поэтому для поддержки работы с большими данными все чаще применяются распределенные горизонтально масштабируемые архитектуры хранения и обработки в памяти.

Создание озер научных данных актуально сегодня для всех стран, претендующих на ведущие роли в научных сообществах. В противном случае ученые из таких стран потеряют возможность контроля над хранимыми в рамках федерации данными.

Различные данные имеют для компании разную ценность, и затраты на их хранение должны быть адекватными. Ошибки в определении реальной ценности и востребованности данных в лучшем случае сведут на нет попытки сэкономить, а в худшем — приведут к рискам.

Переход от монолитных ИТ-систем к слабо связанным сервисным архитектурам влечет за собой пересмотр отношения к данным и информации.

KDD — обнаружение знаний в базах данных — реальный способ повышения эффективности работы. Вопрос не в том, нужны ли такие технологии, а в том, как их применить в каждом конкретном случае.