«Управление данными 2023»: зрелость процессов растет

«Сейчас никому объяснять пользу управления данными уже не надо, а крупные компании уже внедрили такую практику. Однако проблемы до сих пор остаются», — констатировал Михаил Александров, технический руководитель центра развития аналитических продуктов Axenix, в рамках ежегодного форума «Управление данными 2023», организованного издательством «Открытые системы». Форум состоялся в конце сентября, собрав более 500 специалистов из числа экспертов по управлению данными и бизнес-руководителей. За восемь лет проведения он стал незаменимой площадкой для обмена идеями и опытом для всех, кто управляет предприятиями на основе данных.

Михаил Александров: «Причины возникающих проблем в управлении данными главным образом являются управленческими: эти задачи стартуют и развиваются из офиса CDO, усилия которого недостаточно согласованы с бизнесом»

Причины возникающих проблем в управлении данными главным образом являются управленческими: эти задачи стартуют и развиваются из офиса CDO, усилия которого недостаточно согласованы с бизнесом, и во всей цепочке прохождения данных возникают вопросы. При этом проблемы проявляются далеко не сразу, а лишь после первых инцидентов, когда и выясняется, что процессы работают не так, как задумывалось. Александров предложил подход Data Governance by design, подразумевающий встраивание процессов управления данными в любые бизнес-инициативы.

Искусственный интеллект поможет

Важнейшим направлением усилий становится попытка использования искусственного интеллекта в процессах управления данными. Например, одна из идей – максимальная автоматизация процессов разбора и классификации метаданных с помощью больших языковых моделей (LLM). По словам Александрова, в некоторых случаях удается достигать хороших результатов. Другим фронтом работ ожидаемо становится качество данных. Как правило, базовые проблемы с ним решены усилиями офисов CDO, однако данных становится все больше, они усложняются, и базовых проверок уже не хватает. Кроме того, с ростом использования искусственного интеллекта появляются новые требования к качеству данных и его мониторингу. С этой задачей инструменты машинного обучения вполне справляются.

Борис Рабинович: «Переход к 'умному' управлению данными, используя возможности искусственного интеллекта и машинного обучения, приносит конкретные результаты: в частности, стоимость владения данными была снижена втрое»

«Архитектуру нашей фабрики данных уже никто не может удержать в голове, я и сам представляю ее лишь верхнеуровнево. Во время реализации проектов собирается консилиум архитекторов, и размер фабрики продолжает постоянно расти», — описал масштаб проблем Борис Рабинович, CDO «Сбера». Это во многом стало причиной перехода к «умному» управлению данными, используя возможности искусственного интеллекта и машинного обучения. Такой подход приносит конкретные результаты: в частности, стоимость владения данными была снижена втрое.

Рабинович выделил три направления использования ИИ: управление жизненным циклом данных, управление ресурсами фабрики данных и мониторинг качества данных. Именно в мониторинге качества удалось достичь наиболее заметных результатов: с 2-3 тыс. проверок в год, проводимых вручную, удалось сделать скачок до 90 тыс. С их помощью на лету анализируются любые отклонения в качестве данных. Кроме того, ИИ применяется в синтезе данных для задач машинного обучения и предобработке данных для дальнейшего использования в моделях.

Ольга Романова, руководитель департамента анализа данных и контента в «Газпромнефть ЦР», рассказала об эволюции продуктов по управлению контентом от корпоративного поиска до цифрового помощника аналитика. Система, выполняющая запросы на обычном человеческом языке, и выдающая на выходе датасет, реализована в двух предметных областях – геологии и промышленной безопасности.

«Такой продукт 'продавать' пользователям гораздо проще, чем когда речь идет о написании запросов в базе данных. Удобство и красота имеют для сотрудников большое значение», — подчеркнула Романова. Сейчас в «Газпром нефти» реализуют модульный подход, создавая прикладную платформу семантических продуктов и сервисов. Он позволит собирать новые продукты корпоративного поиска как конструктор.

Финансы зависят от данных

«Финансовая отрасль полностью зависит от данных и эффективности их использования. Именно поэтому регулятор уделяет столько внимания системе управления данными», — отметил Алексей Луковников, CDO Банка России. Он выделил пять областей применения управления данными: информационный обмен между участниками рынка, управление данными на стороне участников рынка, сбор внешних данных банком России, использование данных и сервисов внутри ЦБ, а также предоставление данных и сервисов для внешних потребителей. Важно, что инструменты для этого в каждой области свои.

Алексей Луковников: «Мы хотим быть помощниками финансовому рынку во внедрении инструментов управления данными, оказывая методологическую поддержку, оцениваем зрелость и стимулируем гармоничное развитие систем управления данными»

«Мы хотим быть помощниками финансовому рынку во внедрении инструментов управления данными, оказывая методологическую поддержку, оцениваем зрелость и стимулируем гармоничное развитие систем управления данными. Наконец, можем представлять интересы компаний перед вендорами», — продолжил Луковников.

В мировой практике существует два подхода к регулированию управления данными: западный (на основе принципов, а не детальных требований) и восточный (более жесткий и детальный). Как показывают опросы, более 75% кредитных организаций считают предпочтительным именно детальное регулирование. Подавляющее число участников рынка ждут от ЦБ методических рекомендаций, конференций по обмену опытами, а также создания референсной модели данных с описанием состава данных для предоставления регуляторной отчетности.

Светлана Бова, CDO ВТБ, затронула тему качества данных с практической точки зрения. Все понимают, что качеством данных важно заниматься, но когда на практике заходит дело о реализации проекта и внедрении инструментов контроля качества, многие встают перед проблемой обоснования эффектов от проекта. Во многом это объясняется разрывом между главными потребителями данных – отчетными подразделениями, являющимися центрами затрат, и бизнесом, интересующимся доходной частью проекта. Бова привела примеры расчета финансового эффекта от внедрения системы мониторинга качества данных на нескольких примерах, включая подход к оценке кредитных рисков, исправление ошибок в рейтинге клиента и неправильную сегментацию клиентов, ведущую к некорректной работе с ними.

Зрелость и культура

«Своей миссией я вижу создание условий для того, чтобы каждый сотрудник компании мог пользоваться данными для самостоятельного анализа причин происходящего. Таким образом компания выходит на новый уровень зрелости», — заявил Сергей Бондарев, CDO Первой грузовой компании. В компании получилось выстроить функцию управления данными меньше чем за два года, и, что важно, она реально работает.

Сергей Бондарев: «Своей миссией я вижу создание условий для того, чтобы каждый сотрудник компании мог пользоваться данными для самостоятельного анализа причин происходящего. Таким образом компания выходит на новый уровень зрелости»

По оценкам аналитиков, эффективное управление данными может принести компании дополнительно 3-5% к показателю EBITDA, но эта ценность раскрывается на высоких уровнях зрелости. Как отметил Бондарев, его нынешняя задача – сдвинуть компанию со второго уровня зрелости (построение хранилища данных и средств визуализации) на третий – самостоятельную работу с данными с помощью аналитических средств. Неотъемлемой характеристикой уровня зрелости является именно культура работы с данными и навыки самостоятельного создания (self-service) аналитических инструментов.

«Есть мнение, что культура данных – это корпоративная культура, при которой сотрудники принимают решения, основываясь на данных. Однако по-другому сейчас, вероятно, уже и не бывает», — подчеркнул Павел Шорохов, CDO сети «Магнит». Скорее, вопрос в том, где найти данные, как понять, что они означают, и убедиться в их достоверности. Именно поэтому важно создать среду, в которой сотрудники имеют возможность оперативно получать нужные им качественные данные.

«Надо понять, кто твоя аудитория, и для каждого ее сегмента найти свои методы донесения информации», — продолжил Шорохов. Например, для сотрудников, глубоко погруженных в тему, «Магнит» выпускает Data Digest – полноценный журнал о работе с данными. Для тех, кто не хочет глубокого погружения, в аналитические инструменты встраиваются короткие видео в формате TikTok, в которых рассказывается об их использовании в той или иной ситуации. Кроме того, в компании используются различные интерактивные форматы, и офлайн-мероприятия.

Принципы Data Governance за пределами офиса данных

Тема использования принципов ITSM для выстраивания процессов за пределами ИТ-подразделений начинает находить неожиданное продолжение применительно к Data Governance. Так, в «М.Видео-Эльдорадо» смогли извлечь дополнительную ценность из разработанных офисом данных инструментов и процессов, использовав их для повышения управляемости портфелем цифровых проектов.

Данила Наумов: «Я взглянул на портфель цифровых продуктов глазами акционера и понял, что прозрачность управления им является максимально значимой задачей. Мы использовали ее для масштабирования наших практик за пределами дата-офиса»

«Это весьма значимо для нашей компании: бюджет, выделяемый на различные цифровые инициативы, несоизмеримо больше, чем на управление данными. Я взглянул на цифровой портфель глазами акционера и понял, что прозрачность управления им является максимально значимой задачей. Мы использовали ее для масштабирования наших практик за пределами дата-офиса», — рассказал Данила Наумов, CDO «М.Видео-Эльдорадо».

Вовлечь представителей операционных функций или разработчиков цифровых продуктов в корпоративные процессы учета данными непросто. Никто не любит описывать то, что делает, ведь ценность этого зачастую неочевидна. Один из самых очевидных способов – использование ресурсов топ-менеджмента. В 2023 году в «М.Видео-Эльдорадо» произошла «цифровая перезагрузка»: была изменена структура цифровых продуктов, поменялся подход к оценке эффектов. От команд стали требовать максимально прозрачного описания своих продуктовых метрик в дата-каталоге.

«Мы смогли на законодательном уровне вовлечь цифровые продукты в описание своих метрик. У каждой из нее должен быть владелец, архитектор, стюард и инженер поддержки. Они должны быть четко зафиксированы, указаны их кросс-зависимости, ссылки на отчетность», — сказал Наумов.

Разумеется, не все проходит гладко: лишь восемь из 40 продуктов смогли прозрачно связать свои метрики с финансовым результатом, и только для трети показателей эффективности удалось описать их логику расчета хотя бы словами. Движение в сторону повышения прозрачности работы цифровых продуктов продолжается. Ожидается, что руководителям продуктов, не участвующим в этом проекте, топ-менеджмент будет задавать «неудобные вопросы».