Инфраструктура — важнейший компонент любой платформы данных, и от правильного выбора соответствующих технологий во многом зависит, сможет ли компания реализовать весь потенциал имеющихся технологий. Большинство публикаций по lakehouse традиционно акцентируют внимание лишь на вычислениях и хранении, однако lakehouse также предусматривает слой инфраструктуры, отвечающий за безопасность и интеграцию вычислительных движков со слоем хранения.
Все больше организаций, которых не устраивают возможности аналитики своих систем ERP, начинают задумываться о развертывании серьезной инфраструктуры поддержки своих корпоративных аналитических платформ. Как запустить процесс внедрения аналитических инструментов, создать эффективную систему их развития и определить ответственных лиц? Как сформировать команду, способную разрабатывать или мигрировать аналитическую отчетность? Почему сотрудники, уже занимающиеся разработкой отчетности в платформах ERP, не всегда оказываются идеальными кандидатами для выполнения этих задач?
Масштаб современных задач уже превосходит возможности среднестатистического работника — справочники производственных систем могут содержать миллионы записей различной структуры и детализации. Данные поступают из множества источников, часто противоречат друг другу и требуют тщательной обработки, с которой традиционные методы уже не справляются. Для выполнения такой работы можно привлекать цифровых ИИ-помощников, на ранних этапах работы позволяющих предотвратить возможные проблемы с данными.
Зрелость данных — это не просто множество нужных технологий и инструментов, а комплексный показатель, отражающий зрелость процессов, качество данных, культуру компании и интеграцию аналитики в принятие решений. Путь к высокой зрелости данных не устлан розами – требуются инвестиции, изменения в процессах и мышлении, а также внедрение современных технологий.
Проект компании «Мангазея Майнинг» показал, что даже в сложной структуре с десятками тысяч номенклатур товарных позиций можно навести порядок в справочнике без внедрений «тяжелых» ИТ-систем. Благодаря системному подходу и вниманию к деталям проект нормализации справочников стал частью всего процесса трансформации корпоративной культуры работы с данными.
Подход к управлению данными как к производству продукции может стать существенным фактором повышения качества работы с данными, особенно в случае сочетания современных практик менеджмента качества промышленной продукции с передовыми подходами в области управления данными. Особый интерес, в том числе в связи с ростом популярности парадигмы Data Mesh, представляют методы оптимизации цепочек поставок.
Почему привычные подходы к организации плодотворного взаимодействия бизнеса и ИТ больше не работают, а новые — не приживаются? Почему при наличии сотен таблиц с данными и тысяч витрин бизнес сегодня не может получить ответ на самый простой вопрос: «Какова средневзвешенная процентная ставка по кредитам?»