Интеграция управления качеством данных в бизнес-процессы

Главная идея подхода Data Quality by Design (DQ by Design) состоит в стабильной поддержке требуемого качества данных путем встраивания набора определенных процедур и инструментов в бизнес-процессы организации еще на этапе проектирования ее систем и процессов, обеспечивающих сбор и обработку данных. Какой результат можно получить благодаря применению этого подхода и что получит бизнес? Какая дорожная карта поможет встроить управление качеством данных в бизнес-процессы и что нужно, чтобы сформировать культуру доверия к предоставляемым данным и решениям на их основе?

Ведущие эксперты Всероссийской конференции «Качество данных 2026» обсуждают проблемы и преимущества интеграции средств управления качеством данных во все корпоративные бизнес-процессы.

Экономический эффект и рост бизнеса

Улучшение ключевых бизнес-показателей — главный результат эффективного использования такого операционного актива, как качественные данные.

Дарья Кагарлицкая уверена, что именно данные помогают компании повышать эффективность бизнеса и снижать затраты: «Качественные данные обеспечивают прямой финансовый эффект и устойчивый рост бизнеса. Благодаря DQ рост производительности персонала может достигать 25%, сокращение ручных операций и дублирования — 30%, уменьшение складских площадей — 18%, ускорение закупочных циклов, снижение уровня неликвидов и уменьшение ИТ-расходов — 10–30%. Также повышается точность планирования, снижаются операционные риски, растет полнота использования клиентской базы и повышается лояльность клиентов».

Александр Галайдюк: «Встраивание DQ в процессы обеспечивает понимание того, кто несет ответственность за данные и кто ими владеет»

Александр Галайдюк называет главной ценностью встраивания DQ в бизнес-процессы высокий экономический эффект, достигаемый путем повышения эффективности процессов, увеличения прибыли, снижения трудозатрат на анализ и изменения в бизнес-процессах и выпуск новых продуктов, а также снижения уровня рисков. «Встраивание DQ в процессы обеспечивает понимание того, кто несет ответственность за данные и кто ими владеет (это основа Data Governance), — добавляет Галайдюк. — Кроме того, оно дает организациям возможность следующего шага цифрового развития, в том числе внедрения ИИ и продвинутой аналитики».

Дарья Капланская главную ценность встраивания инструментов DQ в бизнес-процессы видит в переходе от постоянного «тушения пожаров» к проактивному управлению, где данные становятся надежным фундаментом для кратного роста бизнеса и увеличения доходов: «Встраивание инструментов контроля качества данных в бизнес-процессы — это, по сути, изменение подхода к управлению компанией. Главный результат, к которому нужно стремиться, — переход от ручного контроля и бесконечного исправления ошибок к устойчивым бизнес-процессам, которые изначально опираются на качественные данные и автоматизированные проверки для минимизации влияния человеческого фактора. Ценность такого подхода в том, что, во -первых, повышается операционная эффективность и снижаются издержки: меньше ручной работы, меньше задержек, меньше потерь из-за ошибок. Во-вторых, повышается качество управленческих решений и заметно снижаются риски: руководители работают с актуальной и сопоставимой информацией. В-третьих, создается устойчивая основа для цифровой трансформации, внедрения аналитики, моделей и автоматизации».

Повышение доверия к данным

Многие эксперты в качестве главного результата подхода Data Quality by Design отмечают повышение доверия к данным, используемым для принятия решений.

Игорь Моисеев: «Подход Data Quality by Design формирует основу для доверительного отношения к информации»

«Подход Data Quality by Design формирует основу для доверительного отношения к информации, делая ее прозрачной, понятной и надежной, — отмечает Игорь Моисеев. — Главной ценностью подхода является достижение высокого и измеримого качества данных — оно позволяет избежать убытков из-за ошибок и выстроить системный, контролируемый процесс управления качеством данных. Подход предполагает тщательное проектирование структуры баз данных, выбор методов контроля и проверки данных, разработку стандартов и процедур обработки данных таким образом, чтобы минимизировать риски ошибок и повысить точность и надежность собираемых данных. Подход включает несколько ключевых этапов: проектирование процессов и архитектуры данных, контроль их ввода, мониторинг состояния данных и управление изменениями, а также обучение сотрудников и повышение их осведомленности».

Кирилл Евдокимов главным результатом встраивания инструментов и процессов DQ в бизнес-процессы считает формирование единой системы доверия к данным: «Бизнес-пользователи получают скорость и уверенность: корректные данные доступны в любой момент, проблем с расчетом метрик или значений атрибутов нет, поэтому время принятия решений ускоряется. ИТ - и дата-команды также получают пользу: реализация проектов и задач ускоряется благодаря сокращению или исключению этапа очистки данных. Проблемы с качеством данных выявляются уже на ранних этапах, в результате снижается количество инцидентов с данными, требующих вмешательства в “пожарном” порядке. Ценность для бизнеса в целом заключается в сокращении рисков, в том числе регуляторных, и создании фундамента для дальнейшей цифровизации и внедрения ИИ».

Екатерина Каннуникова: «DQ дает бизнесу ценность, которую довольно легко обосновать: снижение затрат, ускорение создания и разработки продуктов, снижение рисков»

Екатерина Каннуникова предлагает рассматривать в качестве главного результата то, что данные становятся доверенным ресурсом, на который бизнес может опереться при принятии решений: «Аналитики Gartner утверждают, что около 40% бизнес-инициатив не достигают своих целей из-за низкого качества данных (Data Ladder). Ежегодные финансовые потери крупных организаций из-за низкого качества данных составляют в среднем в 12,9 млн долл. Эти исследования подтверждают, что DQ дает бизнесу ценность, которую легко обосновать: снижение затрат, ускорение создания и разработки продуктов, снижение рисков. Кроме того, без наличия качественных данных невозможно внедрять ИИ в бизнес: если данные, на основе которых учится или работает ИИ, ненадежны, любые инициативы по автоматизации и внедрению умных алгоритмов обречены на провал».

Евгений Евстратьев соглашается с коллегами: «Главная ценность DQ — это превращение данных в надежный, управляемый актив, обеспечивающий доверие к отчетности, снижение операционных рисков и уверенность в принятии решений. Выгоды получают все стороны: бизнес — достоверную информацию, ИИ-департамент — сокращение внеплановых работ, менеджмент — контроль и соответствие стандартам».

Сергей Белостоцкий видит главный результат в появлении в компании устойчивого подхода к работе с данными: «Бизнес получает возможность принимать решения на основе информации, которой действительно можно доверять. При этом ожидания относительно качества данных часто расходятся. С технической точки зрения данные могут быть полностью корректными: все продажи отражены, атрибуты заполнены, формат единый. Но для конкретной бизнес-задачи (например, прогнозирования спроса) эти же данные могут оказаться недостоверными: типичные выбросы, нерепрезентативные значения, структурные искажения дают сбой там, где требуется математическая устойчивость. В других сценариях (например, при расчете премий), наоборот, важно учитывать каждую аномальную сделку. Так возникает различие между техническим качеством и бизнес-достоверностью — это ключевая тонкость, которую важно учитывать при проектировании любых процессов DQ».

Светлана Кузнецова: «Основной результат — повышение надежности и доверия к данным: это напрямую влияет на снижение операционных рисков и повышает эффективность бизнес-процессов»

Светлана Кузнецова отдает приоритет повышению надежности и доверия к данным: «Для бизнеса в целом это означает уменьшение ошибок в отчетности, повышение точности прогнозов, снижение затрат на ручную коррекцию данных. Для регуляторов и аудиторов встраивание инструментов DQ — это прозрачность и соответствие нормативным требованиям. Для ИТ-команд — сокращение затрат на сопоставление данных, облегчение интеграции систем, упрощение разработки отчетов, дашбордов и т. д. Финансовый департамент получает более высокую корректность расчетов: суммы сходятся, валюты соответствуют справочнику, пропущенных записей нет. Отдел продаж перестает тратить время на “битые” лиды: устраняется дублирование клиентов в базе, а электронные адреса автоматически проверяются на достоверность. Аналитики получают стабильные отчеты с реальными цифрами. Снабжение знает, что уже есть на складе и под какие изделия эти запасы зарезервированы, а что нужно закупить и в каком количестве».

Мария Русина: «Управляемое качество данных является базовым условием для реализации всех инициатив, основанных на данных»

Мария Русина основной целью управления качеством данных называет сокращение инцидентов, связанных с их качеством, и повышение доверия к данным и к принимаемым на их основе решениям: «Результатом становится сокращение издержек на несистемное и ситуативное исправление ошибок, а также снижение рисков, вызванных некорректными данными. Управляемое качество данных является базовым условием для реализации всех инициатив, основанных на данных, — аналитических, предиктивных и генеративных».

Григорий Бокштейн как главный результат рассматривает переход от реагирования на проблемы с данными к их предотвращению, создающий основу для доверия к данным: «Это дает бизнесу скорость и уверенность в решениях, ИТ-службам — предсказуемость процессов, а владельцам процессов — прямой контроль над своими активами и рисками».

Улучшение психологического климата

Любопытно, что некоторые эксперты в качестве одного из важнейших результатов выделяют улучшение психологических условий работы бизнес-пользователей.

Дмитрий Дорофеев: «В результате внедрения DQ снимается огромный пласт психологически неблагодарной работы и создается принципиально новое качество контроля»

«У компании наконец-то появляется ясность вокруг того, что происходит с данными на всех этапах их подготовки, — поясняет Дмитрий Дорофеев. — Обычно, чтобы понять, где возникла ошибка, приходится пересматривать всю цепочку загрузок, преобразований и выгрузок — это, как правило, ручной, медленный и довольно бессмысленный процесс: пока ищут причину в одном месте, успевает всплыть что-то новое в другом, да и отчет уже теряет актуальность. Ситуация меняется, когда проверки качества встроены в процесс их подготовки: менеджеры видят, что в их распоряжение поступили недостоверные данные, и могут не показывать отчет, пока их не исправят. В результате снимается огромный пласт психологически неблагодарной работы и создается принципиально новое качество контроля. Даже минимальное внедрение DQ улучшает работу над ошибками при подготовке данных, переводя ее на новый уровень, — исчезает элемент неожиданности, при этом скорость реакции на ошибки многократно возрастает».

Георгий Нанеишвили продолжает: «Если данные — это “цифровая кровь” современной организации, то некачественные данные — это как заражение крови в организме. Принятие неверного или несвоевременного решения может обойтись управленцу (особенно среднего звена) очень дорого — вплоть до увольнения. Этот дамоклов меч ведет к высокому уровню стресса и выгоранию, особенно у молодых управленцев. Принятие решений на основе данных снимает подобные проблемы: если решение оказалось неверным, то виноватым становится не менеджер, а некая машина, генерирующая неверные данные, или некорректная модель. В этом случае модель корректируем, тюнингуем, данные чистим и надеемся на то, что следующее принятое решение уж точно будет верным».

Другое

Эксперты не упустили из виду и другие важные результаты встраивания инструментов управления качеством данных в бизнес-процессы.

Павел Егоров обращает внимание на то, что инструменты DQ дают эффект в сценариях использования дата-продуктов именно в критически важных процессах, где любое снижение качества приводит к рискам, убыткам или упущенной выгоде: «Благодаря внедрению инструментов DQ повышается качество бизнес-критичных процессов, снижаются репутационные и финансовые риски, минимизируется вероятность убытков. Важно при этом учитывать три важных аспекта. Первый: необходимо понимать, какие данные влияют именно на критичные процессы (внедрение DQ с охватом всех элементов и данных в компании, скорее всего, не окупится). Второй: чтобы инструменты DQ работали, на каждом этапе подготовки данных нужно определить сотрудника, отвечающего за их получение, полноту, корректность и исправления. Третий: каждый этап подготовки данных должен быть задокументирован — это даст возможность отслеживать происхождение данных (Data Lineage) и упрощает локализацию и устранение неточностей и ошибок в них».

Никита Назаров: «Главная ценность DQ в том, что ИТ-департамент помогает бизнесу увидеть, где именно данные влияют на деньги и на клиентский опыт»

Никита Назаров отмечает: «Обычно проект по DQ начинается как инициатива ИТ-департамента: его специалисты внедряют каталоги данных и полезные утилиты, но при этом работают изолированно от бизнеса. Потом они приходят к пользователям и предлагают им стать владельцами данных. У пользователей возникает резонный вопрос: зачем им это? Вот здесь и кроется ключевое противоречие между ИТ и бизнесом. В крупных структурах коммуникация между ними разорвана, и, как следствие, ценность от внедрения DQ теряется. Зато начинается конфронтация между бизнесом и ИТ с перекладыванием ответственности или попытками ее возложения на тех, кто не хочет ее принимать. Главная ценность DQ — не в процессах и не в инструментах, а в том, что ИТ-департамент помогает бизнесу увидеть, где именно данные влияют на деньги и на клиентский опыт, и они вместе устраняют найденные проблемы с данными».

Павел Савченко считает важным эффектом то, что подход DQ by Design обеспечивает автоматизацию и ускорение (в типовых сценариях) процессов обслуживания и улучшения качества данных, ускорение реакции на инциденты, а также их унификацию, систематизацию и повышение доступности по ним. «Особенно масштабный эффект достигается в организациях, где процессов DQ ранее вообще не было: повышаются качество и скорость принятия решений, ускоряются разработка и анализ данных, снижаются регуляторные и прочие риски, уменьшается количество инцидентов с данными, повышатся удовлетворенность дата-продуктами и доверие к ним внешних и внутренних пользователей и пр., — добавляет Савченко. — Как итог, наблюдается снижение затрат и рост бизнеса».

Итак, встраивание компонентов управления качеством данных в бизнес-процессы позволяет получить широкий диапазон ощутимых полезных результатов и эффектов, начиная от повышения ключевых бизнес-показателей и заканчивая улучшением психологического климата в рабочих коллективах и выстраиванием более конструктивных отношений между ИТ и бизнесом. Чтобы получить достаточные объемы финансирования инициатив в области качества данных, необходимо заручиться поддержкой различных заинтересованных сторон, а командам, отвечающим за данные и их качество, следует вести с ними тесный диалог, акцентируя внимание на результатах и аспектах, в наибольшей степени интересующих все стороны.

Дорожная карта DQ by Design

Какую дорожную карту можно рекомендовать для гармоничного встраивания инструментов и процессов качества данных в бизнес-процессы, чтобы, реализовав подход Data Quality by Design, получить ощутимые выгоды для организации? В каких документах организации следует эту дорожную карту описать и отразить? И что нужно, чтобы не просто встроить управление качеством данных в процессы, а сформировать в организации культуру доверия к предоставляемым данным и решениям на их основе?

«Самый провальный путь — это “сделать все как в DAMA DMBOK”, — считает Георгий Нанеишвили. — Да, в идеале все должно быть так, как описано в этом руководстве, но до этого еще надо дорасти. Для начала найдите “дата-звездочек” — энтузиастов работы с данными, а также недовольных потребителей отчетов, пусть они сформируют требования бизнеса, исходя из которых можно уже сформулировать план действий, начиная с устранения грубых ошибок и постепенно переходя к получению все более чистых данных. Впрочем, это будет невозможно без формирования дата-офиса и центра компетенции, поиска и привлечения сотрудников всех основных отделов компании, их обучения, организации совместной работы и обсуждений, предоставления инструментов работы с данными».

Сергей Белостоцкий: «Бизнес получает возможность принимать решения на основе информации, которой действительно можно доверять»

По мнению Сергея Белостоцкого, построение дорожной карты внедрения инструментов DQ должно начинаться с ответа на два вопроса: зачем организации все эти усилия и где они нужнее всего именно сейчас: «После того как ответы получены, можно оценить масштаб потребностей, затраты на организацию процесса и набор компетенций, необходимых для поддержания качества данных в дальнейшем. На первых этапах обычно формируется команда предметных экспертов, определяются роли, выстраивается взаимодействие с ИТ-департаментом и обучаются пользователи, которые будут работать не только с данными, но и с механизмами их запроса, проверки и уточнения. Описание дорожной карты нужно зафиксировать в документах уровня политики управления данными, методологий, архитектурных принципов и внутренних регламентов эксплуатации».

Каннуникова отмечает, что дорожная карта сильно зависит от компании, где внедряется DQ, и задач, которые она перед собой ставит: «Начинать внедрять инструменты DQ надо с процессов, в которых данные играют наибольшую роль и где их плохое качество может особенно сильно сказаться на показателях. Примером может быть подготовка регуляторной отчетности».

Кирилл Евдокимов: «Ценность DQ для бизнеса в целом заключается в сокращении рисков и создании фундамента для дальнейшей цифровизации и внедрения ИИ»

Евдокимов рекомендует начинать с пилотного проекта в конкретной бизнес-области или бизнес-процессе, где компания сталкивается с «болью» в данных: «Такой проект должен быть ограниченного объема (на практике до 20 правил, которые влияют на бизнес-процесс) и длиться не более одного-двух кварталов. Ключевая цель — показать ценность реализации системы управления качеством данных, а заодно заручиться поддержкой сторонников из числа бизнеса. Второй этап — масштабирование проекта с методичным охватом критичных для бизнеса данных процедурами контроля качества. Перед началом масштабирования необходимо зафиксировать базовые роли и стандарты, формализовать процесс управления инцидентами и выбрать технические инструменты для автоматизации проверок. Следующими этапами будут оптимизация и прогнозирование, включающие активности по “сдвигу процедур контроля “влево” относительно пайплайна данных (для выявления проблем, сокращения затрат на их решение и снижения рисков в процессах), тиражирование процедур контроля и реализация предиктивного мониторинга. Дорожная карта обычно фиксируется в дата-стратегии компании».

Григорий Бокштейн: «Главный результат — это переход от реагирования на проблемы к их предотвращению»

Бокштейн также полагает, что начать следует с пилотного проекта, охватывающего один критичный процесс, затем масштабировать его на ключевые домены и конвейеры и, наконец, окончательно интегрировать управление качеством данных в бизнес-стратегию. «Этапы и метрики следует зафиксировать в плане улучшения качества данных, привязанном к общей стратегии управления данными компании», — добавляет Бокштейн. С коллегами соглашается и Евстратьев: «Сначала нужно реализовать пилотный проект с охватом критичного бизнес-процесса и назначением ответственных, разработкой методологии и встраиванием в процессы разработки, затем постепенно масштабировать контроль качества на все проекты. Этот план закрепляется в политиках качества данных и регламентах управления инцидентами. В системах это реализуется через возможность поэтапного создания задач контроля качества — от проверки отдельной таблицы до оценки всей модели и настройки расписания запусков. Результаты проверок сохраняются в экземплярах задач качества, позволяющих детализировать информацию по каждому измерению и выгружать отчеты о состоянии данных».

Кагарлицкая продолжает: «Важно понимать, что гонка за качеством данных не должна препятствовать или усложнять сами бизнес-процессы. Поэтому основным принципом должен стать баланс между удобством и необходимостью данных в каждой из систем. Гармонизация данных должна происходить уже непосредственно в MDM-системе — именно она будет собирать минимальные, но достаточные данные из различных систем, создавая одну физическую запись для любого справочника. MDM-система проведет проверку, дедубликацию, категоризацию и по возможности дополнительное обогащение данных, гарантируя при этом их качество и полноту. При этом она не создаст дополнительной нагрузки на бизнес-процессы и не усложнит работу пользователей в смежных системах. Правила DQ должны быть разработаны отраслевыми методологами и внедряться в организации через внутренние приказы и регламенты. Кроме того, все они должны быть внесены в дата-каталог компании и в дальнейшем актуализироваться и развиваться».

Егоров считает, что для полноценного внедрения процессов и инструментов DQ нужна методология: «Необязательно растягивать ее на десятитомник, но необходимо зафиксировать основные подходы и механизмы контроля, тесты, бизнес-процессы и ответственных. Оптимальный вариант — выбрать определенный домен, страдающий из-за недостаточного качества данных, и вместе с бизнесом проработать проблему: выявить причину появления некачественных данных, внедрить процессы и инструменты DQ, по итогам пилотного проекта сформулировать методологию, затем масштабировать ее, используя полученный в проекте опыт, на другие критичные процессы».

Савченко предлагает сначала охватить процессами DQ первичные источники появления проблем с данными — как внутренние, так и внешние, а затем провести систематизацию актуальных систем в части состава данных (сущности, атрибуты, назначение), дедублицировать атрибуты или сущности, оптимизировав ETL-процессы, внедрить инструменты поддержки процессов DQ, после чего провести проверки имеющихся систем на наличие проблем с качеством данных, зафиксировать выявленные инциденты. «В дальнейшем необходимо организовать планомерную работу по устранению наиболее критичных проблем DQ, — добавляет Савченко. — Документы для описания дорожной карты следует отразить в презентации будущих инициатив на комитете правления с описанием основных результатов и экономического эффекта. Детали дорожной карты должны найти отражение в документации проектов, нацеленных на улучшение качества данных».

Павел Савченко: «Особенно масштабный эффект достигается в организациях, где процессов DQ ранее вообще не существовало»

По словам Галайдюка, его компания придерживается следующей концептуальной дорожной карты внедрения DQ в организациях: анализ бизнес-процессов и текущих подходов к обеспечению качества данных; расчет экономического эффекта; создание концепции управления качеством данных; проектирование артефактов (методики, требования, реестры); разработка технических и бизнес-требований к инструментам DQ; выбор и внедрение инструментов; обучение руководителей и сотрудников лучшим практикам DQ; реализация процедур контроля и отчетов по качеству данных; повышение эффективности процедур контроля, актуализация ключевых метрик, развитие культуры качества данных. «Эта дорожная карта может быть как самостоятельным направлением в рамках ИТ-стратегии организации, так и частью стратегии Data Governance, — поясняет Галайдюк. — Для гармоничного встраивания инструментов DQ и получения ощутимых выгод мы рекомендуем дополнять собственные команды DQ представителями опытных консультантов и интеграторов, имеющих опыт и бизнес-экспертизу в соответствующих задачах и отраслях».

Дарья Капланская: «Встраивание инструментов DQ в бизнес-процессы — это, по сути, изменение подхода к управлению компанией»

Капланская рекомендует отталкиваться от аудита самых болезненных точек — тех, где проблемы с данными напрямую влияют на работу бизнеса: «На первом этапе, который обычно занимает один-два месяца, важно собрать рабочую группу из представителей тех процессов, где проблемы с качеством данных наиболее критичны: финансовый блок, продажи, закупки, логистика, производство. Затем нужно провести честный аудит бизнес-процессов и выявить реальные узкие места. После этого надо ранжировать процессы по степени влияния на бизнес и определить конкретные показатели качества данных. На этом же этапе хорошо работает точечная диагностика качества справочников и ключевых наборов данных, позволяющая быстро проверить данные по нескольким десяткам параметров и получить отчет на понятном языке для владельцев процессов — это дает быстрый эффект и убеждает в пользе дальнейших шагов. Второй этап — запуск пилотного проекта на самых проблемных участках, который обычно длится три-шесть месяцев. Для каждой болевой точки описываются целевой процесс и правила работы с данными, подбираются и внедряются инструменты автоматизации и контроля, запускается работа по достижению целевых показателей качества, а полученные результаты обязательно фиксируются. Третий этап — масштабирование решений на другие процессы. На этом этапе формируется центр компетенций по данным или аналогичная функция, закрепляются роли и зоны ответственности, разрабатываются стандарты и политики, запускаются регулярные проверки и, по возможности, прогнозирование возможных сбоев. Здесь логично подключать сервисы нормализации данных и справочников, чтобы закрепить единые правила описания и исключить возврат к хаосу. Четвертый этап — поддержание культуры постоянной работы с качеством данных: регулярный мониторинг метрик, пересмотр правил по мере изменений в бизнесе, обновление регламентов и обучение сотрудников».

Дорожную карту разумно зафиксировать в нескольких контурах, полагает Капланская: «В программе проекта по данным или качеству данных — с четко прописанными этапами, сроками, вехами и ответственными; в стратегии управления данными или цифровой стратегии компании (с описанием целей, целевой модели и ожидаемых эффектов); в технических заданиях и архитектурных документах (с обоснованием выбора инструментов и схемами интеграции в существующий ИТ-ландшафт). Кроме того, обязательно нужны рабочие регламенты и инструкции: как реагировать на сигналы контроля, как вносить новое бизнес-правило, как проводить очередной цикл аудита и пр.».

Формирование культуры доверия к данным

Выстраивание управления качеством данных способствуют росту доверия к ним, однако этого еще недостаточно, чтобы сформировать культуру доверия к данным и решениям на их основе. Эксперты перечисляют целый ряд факторов и аспектов, которые требуются для формирования культуры доверия.

«Встроить инструменты DQ в процессы недостаточно — важно сформировать доверие к данным, — подчеркивает Белостоцкий. — Для этого у каждого набора данных должны быть ответственные, понятные правила использования и прозрачная история (Data Lineage). Пользователь должен знать, куда обратиться, если данных не хватает, если они кажутся некорректными или если требуются разъяснения. Культура доверия возникает тогда, когда люди внутри компании понимают: данные — это понятный и доступный инструмент, за которым стоят реальные эксперты и понятные процессы».

Евгений Евстратьев: «Главная ценность DQ — это превращение данных в надежный, управляемый актив. Выгоды в результате получают все стороны»

Евстратьев обращает внимание на то, что встраивание DQ в бизнес-процессы — это стратегическая организационная трансформация: «Ее цель — создание проактивной системы управления качеством данных. Ее успех зависит от комбинации технологий, четких процессов и, прежде всего, формирования культуры, где данные воспринимаются как ценный доверенный актив, лежащий в основе эффективных бизнес-решений. Для формирования культуры доверия нужно обеспечить прозрачность в демонстрации метрик, вовлечение бизнеса через ответственных за данные, обучение сотрудников и встраивание требований качества в циклы разработки. Успех измеряется не технологиями, а изменением отношения к данным как к стратегическому продукту. Система DQ обеспечивает прозрачность через детализированные результаты проверок, представленные в табличной и графической форме (например, облака слов для текстовых полей, диаграммы востребованности моделей). Вовлечение бизнеса поддерживается через бизнес-глоссарий и метрики целесообразности, показывающие использование таблиц в приложениях и дашбордах, а также статистику уникальных пользователей и просмотров.

Герман Ганус: «Формирование культуры доверия к данным — это процесс превращения данных из “просто цифр” в надежную основу для принятия решений»

По мнению Германа Гануса, формирование культуры доверия к данным — это процесс превращения данных из «просто цифр» в надежную основу для принятия решений: «Культура доверия возникает, когда сотрудник, открывая отчет или используя данные для решения, не сомневается в их правильности: он уверен, что, во -первых, данные точны (или, по крайней мере, известна степень их точности), во -вторых, в случае возникновения проблемы есть ясный путь ее решения, и, в -третьих, данные — это актив, который помогает ему лично и компании в целом достигать целей. Доверие строится не на обещаниях, а на прозрачных процессах, четкой ответственности и постоянной демонстрации ценности качественных данных».

Бокштейн отмечает, что эта культура строится на прозрачности и вовлеченности: «Метрики качества должны быть доступны и видимы всем потребителям данных. Кроме того, в определение правил DG необходимо вовлекать бизнес. Такой подход мы реализуем в своем продукте RT.DataGovernance со встроенным модулем Data Quality. Доверие возникает, когда каждый видит и понимает: данные, которые он собирается использовать, — качественные».

Кузнецова для формирования культуры доверия рекомендует демонстрировать значимость данных, уделять пристальное внимание их качеству и доказывать их надежность: «Например, нужно демонстрировать пользователям метрики DQ — что-то вроде этого: “Качество данных составляет 98% (в 2% записей не указаны контрагенты)”. Также нужно определять ответственность: если в отчете ошибка, ее причина может скрываться не собственно в данных, а в человеческом факторе (например, мог ошибиться менеджер по клиентским данным). Полезно показывать на реальных примерах, как именно некачественные данные влияют на бизнес, проводить разбор реальных инцидентов с данными. Правдивость данных нужно доказывать на конкретных примерах, а если возникли сомнения в отчетах, разбирать их детально и выяснять, откуда в нем те или иные цифры. И, конечно, надо поощрять обратную связь — хотя бы снабдить пользователей кнопкой, чтобы они могли сообщить об ошибках в данных. DQ by Design — это жесткое встраивание проверок качества в каждый этап работы с данными. Когда валидация почты происходит до записи в CRM, а аномалия в продажах обнаруживается до утреннего совещания, данные перестают быть проблемой и становятся конкурентным преимуществом».

Павел Толчеев: «Топ-менеджмент должен не только говорить о важности качества данных, но и подкреплять слова практикой»

Павел Толчеев исходит из того, что встроить инструменты — это только часть задачи, и ключевой вопрос здесь — как сделать так, чтобы люди действительно доверяли данным и решениям на их основе: «Первое условие — лидерство и вовлеченность руководства: топ-менеджмент должен не только говорить о важности качества данных, но и подкреплять слова практикой: принимать решения на основе показателей, опираться на единые источники, публично поддерживать инициативы по улучшению качества. Второе — прозрачность: нужен открытый дашборд качества данных, доступный ключевым пользователям, где видны текущие показатели, тенденции и статус работ. Каталог данных должен содержать сведения о владельцах, показатели качества и уровень доверия, чтобы любой пользователь понимал, с чем он работает. Также нужны инструменты, позволяющие бизнес-пользователям самостоятельно запускать базовые проверки и не зависеть от ИТ-служб в типовых ситуациях. Третье — практическое обучение: важно не только знакомить с теорией, но и анализировать конкретные кейсы. Четвертое — интеграция качества данных в систему мотивации и управления проектами: показатели качества данных должны быть частью KPI владельцев процессов и ответственных за данные в предметных областях, проверка качества должна быть обязательной в проектах по доработке систем и внедрению новых решений. Кроме того, инциденты с данными важно рассматривать наравне с ИТ-инцидентами, фиксировать, анализировать причины и устранять последствия. Наконец, пятое — позитивная повестка: важнее не искать виноватых, а поддерживать тех, кто помогает улучшать ситуацию. Полезно отмечать команды и конкретных сотрудников, сумевших предотвратить крупные ошибки или предложить изменения, которые повысили качество данных. Отдельный эффект дает демонстрация успехов и достижений в области качества данных. Когда сотрудники видят, что руководство опирается на данные, процессы поддерживают их качество, инструменты делают его контроль понятным и несложным, а личный вклад в эту работу замечают и ценят — в этот момент качество данных перестает быть узкой задачей ИТ-служб и становится общей основой для эффективной работы компании».

Дарья Кагарлицкая: «Качественные данные обеспечивают прямой финансовый эффект и устойчивый рост бизнеса»

С точки зрения Кагарлицкой, первым и главным шагом на пути к формированию культуры доверия к данным должны стать ключевые правила: «Вся отчетность, прогнозы и принятие решений должны строиться на основе данных из BI и смежных систем. Работать с данными желательно с монитора — отказ от ручной отчетности в файлах Excel позволит сформировать в компании культуру работы с данными. Для подготовки автоматических отчетов требуются актуальные данные. Кроме того, нужно исключить возможность их подгонки к нужному результату. Путь долгий, но однозначно успешный и правильный».

Георгий Нанеишвили: «Если данные — это “цифровая кровь” современной организации, то некачественные данные в ней — это как заражение крови в организме»

Нанеишвили предлагает решать проблему с качеством системно: «Прежде всего исключить множественный ввод одинаковых данных. Процессы работы с данными, которые невозможно централизировать, надо брать на особый контроль и обучать сотрудников на местах, внедряя единые шаблоны и правила заведения новых сущностей. Все это — задача дата-офиса, который организует для сотрудников обучение передовым практикам и инструментам и проводит семинары по обмену опытом. Эти сотрудники затем делятся своими знаниями с другими коллегами. И поскольку эти обученные сотрудники зачастую участвуют в подготовке дашбордов и отчетности, компания экономит немалые деньги, так как отчеты в этом случае создаются быстро, на местах, без привлечения ИТ-отдела. Таким образом, дата-офис управляет интеграцией приложений и интеграционными потоками, снижая затраты на ведение информации и убирая дубликаты. Кроме того, он повышает качество данных и формирует витрины с проверенными источниками информации. И самое важное: на основании качественных данных сотрудники могут самостоятельно, причем очень быстро, строить отчетность, кардинально повышая и скорость управления компанией, и качество принимаемых управленческих решений, обеспечивая переход к бизнесу, управляемому на основе данных (data-driven)».

Важно не просто уделять внимание процессам DQ, а демонстрировать их важность и ценность, считает Савченко. И добавляет: «Также нужно обучать команды новым правилам, процессам работы с DQ и инструментам для управления качеством данных. Кроме того, надо формализовать процессы DQ в виде конкретных правил, отраженных во внутренних стандартах организации, включая границы ответственности, встроить в основные этапы жизненного цикла данных и систем, начиная с анализа и разработки и заканчивая сопровождением. Наконец, полезно проводить для проектных команд “разборы полетов” и подводить итоги улучшения DQ, а для правления — общие презентации по итогам работы».

Павел Егоров: «Благодаря внедрению DQ повышается качество бизнес-критичных процессов, снижаются риски, минимизируется вероятность убытков»

По наблюдениям Егорова, культура доверия страдает в основном из-за качества дата-продуктов, которые с первых релизов работают неоптимально или оперируют невалидными данными: «Чтобы сформировать доверие к ним, необходимо синхронизировать процессы DQ с процессами разработки и CI/CD. В результате разработчики не смогут сдать в продуктивную эксплуатацию дата-продукты, в которых не отлажен контроль качества информации. Кроме того, важно повышать доступность данных: у сотрудников должна быть возможность оперативно проверять свои гипотезы, не ожидая месяцами нужных данных. Долгое ожидание сильно раздражает пользователей, да и доверие к данным, предоставляемым с большим опозданием, не может быть высоким».

Коллег дополняет Каннуникова: «Главное — помнить, что качество данных сильно зависит он контекста их использования. Качественный, с точки зрения дата-инженера, почтовый адрес может быть вполне качественным для одного сотрудника и абсолютно некачественным для другого. Так, для отчетности, предназначенной для Агентства по страхованию вкладов, адрес с двумя запятыми подряд может считаться нормальным, а для отдела взыскания “хорошим” может считаться только адрес, соответствующий записи в паспорте».

***

В целом эксперты единодушны, выделяя в качестве главных бизнес-результатов перехода на DQ by Design повышение эффективности процессов, ускорение принятия управленческих решений, снижение операционных рисков, так или иначе связанных с некачественными данными. Важную роль в этом переходе играет формирование культуры доверия к данным — итог усилий по выстраиванию управления данными в целом и управления их качеством в частности. Культура не только обеспечивает необходимое для успеха дата-офисов и команд отношение к данным, но и способствует фундаментальному переходу в управлении бизнесом от принятия решений, основанных преимущественно на интуиции, к решениям на основе объективных и доверенных данных, а также сделанных на их базе аналитических выводах.

Михаил Зырянов (mikez@osp.ru) — шеф-редактор, OSP.RU (Москва).