Процессы контроля качества данных

Для создания работающего процесса по контролю качества данных финансовым организациям рекомендовано опираться на рекомендации Центрального банка Участникам финансового рынка по концептуальному дизайну процесса «Качество данных»; нормативную документацию Банка России (Положения от 08.04.2020 № 716-П «О требованиях к системе управления операционным риском в кредитной организации и банковской группе», положения от 02.11.2024 N 845-П «О порядке расчета величины кредитного риска банками с применением банковских методик управления кредитным риском и моделей количественной оценки кредитного риска»); внутреннюю нормативную документацию организации и, конечно, здравый смысл. Основная сложность при проектировании процесса управления качеством данных состоит в том, что трудно сразу охватить все данные и информационные системы организации. Можно действовать постепенно, прорабатывая процесс для корпоративного хранилища данных, утверждая и внедряя его, а затем какое-то время работать в этом утвержденном процессе. В процессе работы обязательно выявятся недочеты, которые можно будет устранить в новой редакции процесса. При утверждении новой редакции процесса процесс следует расширить и учесть в нем дополнительные системы, а в обновленном процессе также следует поработать какое-то время и снова его скорректировать и т. д. В итоге будет сформирован и безболезненно внедрен процесс управления качеством данных. Конечно, на каком-то этапе окажется, что один процесс «цепляет» другой и одного небольшого пошагового изменения уже недостаточно, но нужно с чего-то начинать, менять приходится множество смежных процессов, но постепенно, чтобы не столкнуться с явным сопротивлением изменениям.

Процесс управления качеством данных

Основные этапы процесса управления качеством данных включают:

• разработку и актуализацию алгоритмов проверок качества данных;
• валидацию Реестра проверок качества данных;
• профилирование и аудит качества данных;
• формирование отчетности, разработку и реализацию мероприятий по повышению качества данных.

К созданию проверок качества данных обязательно следует привлекать не только аналитика создающего, например, витрину данных, но и ее заказчика — именно он может определить достаточность качества данных.

При создании проверки качества важно определить не только что, как и как часто будет проверяться, но и кто, как и в какой срок будет реагировать на выявленные проблемы в качестве данных. В таблице 1 приведена классификация характеристик качества данных, используемая для создания проверок качества данных в зависимости от применимости к отдельным атрибутам данных или информационных систем в целом.

Все проверки качества данных собираются в единый реестр проверок. У всех проверок должен быть явный владелец — каждая проверка потребляет ресурсы, и без явной потребности запускать их не имеет смысла. На разных этапах жизненного цикла данных могут применяться различные проверки. Для предотвращения излишнего разрастания реестра проверок и для экономии ресурсов проводится регулярная валидация реестра проверок с привлечением владельцев проверок. При валидации владелец в явном виде подтверждает необходимость работы каждой проверки, лишние проверки отключатся, добавляются новые.

Для предотвращения проблем с качеством данных следует проводить регулярный аудит качества данных, состоящий из нескольких этапов. На первом этапе аудита выделяется список аудируемых таблиц, их владельцев и потребителей. На втором этапе проводится профилирование по таблицам и атрибутам. На третьем этапе уже можно выявить аномалии в данных и провести опрос потребителей и владельцев данных для анализа аномалий. На четвертом этапе аудита по результатам опроса владельцев и потребителей формируется план мероприятий по повышению качества данных в аудируемых таблицах.

Регулярное представление на коллегиальном органе информации отчетности о качестве данных, возникающих проблемах и мероприятиях по повышению качества данных позволяет поддерживать фокус внимания руководства банка на качестве данных.

Работа с инцидентами

Для понимания уровня качества данных необходимо понять реальное количество инцидентов качества данных и их влияние на организацию. Часто подобные инциденты решаются в почте или в корпоративных мессенджерах и единой статистики нет. При незначительном количестве проблем с качеством данных статистика не требуется — такая потребность возникает, когда сотрудники смежных подразделений вместо выполнения своих основных обязанностей целыми днями дают разъяснения в почте по качеству данных.

Для сбора сведений об инцидентах качества данных можно поступить следующим образом: принять на коллегиальном органе решение, что все инциденты заводятся только через портал на определенную группу; создать дашборд для регулярного отражения статистики по количеству заведенных, решенных инцидентов и время решения. Группа, на которую маршрутизируются инциденты качества данных, должна иметь ресурсы для их решения. Важно отметить, что разбор и маршрутизация инцидента качества данных могут занимать от нескольких минут до нескольких месяцев в зависимости от причины и для исключения возможного снижения продуктивности сотрудников можно применять дежурства по инцидентам. Все сотрудники дежурят на инцидентах по очереди, остальное время выполняя работу по созданию и поддержке проверок качества, дашбордов и методик.

Для разбора и маршрутизации инцидентов может применяться классификатор источников и причин нарушения качества данных в информационных системах (таблица 2).

***

Контроль качества данных не завершается заключением договоров на поставку данных между владельцами данных, потребителями данных и службой обеспечения информационной безопасности с последующим проведением проверок качества данных и выполнением процедур и оценок, рекомендованных регулятором. Контроль качества данных — это постоянный, непрерывный процесс, требующий внимания как со стороны рядовых специалистов, владельцев и потребителей данных, так и со стороны топ-менеджмента финансовой организации.

Анастасия Зайцева (ZaytsevaAG@mkb.ru) — начальник отдела развития и внедрения практик по управлению данными и контролю качества данных, Московский кредитный банк (Москва). Статья подготовлена на основе материалов выступления на конференции «Качество данных 2026».