«МегаФон» создал DataControl — self-service инструмент для обеспечения высокого уровня качества данных в рамках перехода на импортонезависимые платформы. С его помощью пользователи могут работать с качеством данных в рамках одной системы, а непрерывный контроль формирует надежную основу для принятия решений. О реализации проекта рассказывает Денис Тепляков, эксперт качества данных компании «МегаФон» и номинант на премию Data Award.

- Что представлял собой система контроля качества данных до реализации проекта?

Ранее мы использовали дашборд качества корпоративного хранилища данных на базе Oracle, который позволял пользователям создавать и отслеживать проверки данных, выявлять аномалии и получать уведомления об ошибках. Предыдущая версия системы работала только с одной СУБД — Oracle. В процессе импортозамещения требовалось реализовать возможность подключения к различным источникам: Greenplum, ClickHouse и Hadoop.

- Какие требования предъявлялись к создаваемому инструменту?

Главной целью было создание единой платформы, которая одинаково эффективно работает со всеми корпоративными источниками, не требуя от пользователей глубоких технических знаний специфики каждой системы. Мы стремились сохранить лучшие практики предыдущего решения: простоту настройки, понятные уведомления и возможность отслеживать изменения во времени. Ключевым требованием стало обеспечение работы системы исключительно на открытых и отечественных технологиях, исключив использование закрытых решений. Мы хотели, чтобы контроль качества данных перестал быть исключительно зоной ответственности ИТ-специалистов и стал естественной частью рабочего процесса каждого сотрудника, работающего с данными. Система должна была вести полную историю изменений, предоставлять контекст ошибок и фиксировать логику принятия решений, чтобы пользователи понимали не только факт сбоя, но и причины его возникновения.

- На каких платформах реализована система?

Платформа разработана на импортонезависимых технологиях и микросервисной архитектуре фабрики микросервисов МегаФона. Ключевое преимущество — единая система контроля качества данных в нескольких источниках. В системе реализовано централизованное хранение метаданных, что создает единый источник информации о качестве данных, упрощает аудит и анализ, а также обеспечивает масштабируемость при добавлении новых источников.

Технологически платформа построена исключительно на отечественных и open source решениях. Фронтенд разработан на React JS, бэкенд — на Python и Django REST Framework. Метаданные и история проверок хранятся в PostgreSQL и S3, оркестрация задач выполняется через Apache Airflow, мониторинг обеспечивается инструментами Prometheus и Grafana. В системе задействованы сервисы Redis для кэширования и RabbitMQ для управления очередями сообщений, все компоненты развернуты в кластере Kubernetes с Docker-контейнерами. Для подключения к источникам данных используются универсальные JDBC- и ODBC-коннекторы.

- Какие данные охвачены?

DataControl обрабатывает корпоративные данные, хранящиеся в Greenplum, ClickHouse и Hadoop, выполняя проверки на полноту, уникальность, соответствие трендам и скриптам, а также отслеживая аномалии и динамику качества данных на всех платформах. В частности, система выявляет отклонения в критически важных бизнес-метриках и аномалии в динамике операционных показателей, обеспечивая своевременное обнаружение расхождений в данных, влияющих на корректность отчётности и принятие решений.

- В чем заключается self-service? Какие возможности имеют пользователи?

Self-service в DataControl означает, что контроль качества данных становится доступным каждому сотруднику без необходимости привлечения технических специалистов. Через простой и интуитивно понятный интерфейс любой пользователь может самостоятельно создать проверку, выбрав нужную таблицу и поле, задав бизнес-правило — будь то проверка на полноту, уникальность или соответствие историческому тренду, — и настроить график ее автоматического выполнения. Система предоставляет возможность пользователям подписываться на уведомления проверок с результатами обнаруженных ошибочных записей, делиться проверками с командой, отслеживать статус готовности данных и видеть детальную историю всех запусков с описанием ошибок. Кроме того, система показывает карточку проверки с полным описанием, кто и как должен реагировать для устранения ошибок, и позволяет анализировать динамику отработки проверок в разрезе через наглядные графики. Это помогает сотрудникам быстро реагировать на изменения и принимать решения на основе достоверной информации.

- Какие результаты достигнуты и ожидаются?

Внедрение DataControl позволило создать единую систему контроля качества данных для всех ключевых платформ компании, в контуре корпоративного хранилища данных, без потери функционала.

Ключевое достижение — пользователи могут продолжать работать с качеством данных в рамках одной системы, с привычным интерфейсом, что обеспечивает плавный переход на импортонезависимые решения. Одновременно с этим снижен объем рутинных операций для инженеров качества данных — каждый сотрудник может самостоятельно настроить на своих наборах данных контроли качества. Внедрен механизм уведомлений для пользователей и обеспечена наглядная визуализация — динамика проверок, карточки с описанием ошибок и рекомендациями, хаб с результатами всех проверок.

- Какими количественными результатами можете поделиться?

Количественные результаты внедрения DataControl показывают, как система меняет рабочие процессы. Во первых, мы сократили время настройки проверок с нескольких дней до нескольких часов — это сразу повысило оперативность. Во-вторых, количество активных проверок выросло более чем в 3,5 раза по сравнению с периодом до внедрения новой системы, что позволило значительно расширить объем данных, находящихся под постоянным контролем. В третьих, количество задач по созданию проверок снизилось на 80% по сравнению с прошлым годом, что свидетельствует о значительной оптимизации рабочих процессов. Еще один важный момент: время, затрачиваемое инженерами на рутинное кодирование, сократилось вдвое. Это высвободило ресурсы для работы над улучшением и масштабированием платформы. И наконец, самое критичное для бизнеса — время обнаружения аномалий упало с 2–3 дней до 15 минут. Это позволяет устранять проблемы до того, как они начнут влиять на ключевые показатели.

- Какое значение имеет этот проект для МегаФона?

DataControl сопровождает переход компании на импортонезависимые платформы, поддерживая текущие процессы и реализуя новые. Единая система контроля для всех платформ в контуре корпоративного хранилища данных повышает надежность данных, ускоряет рабочие процессы и эффективно использует существующую инфраструктуру, гарантируя гибкость и устойчивость за счет микросервисной архитектуры: отдельные компоненты можно обновлять и масштабировать независимо, а отказ одного сервиса не парализует всю систему. Сохранение поддержки замещаемого решения обеспечивает непрерывность текущих процессов при постепенном переходе на импортонезависимые технологии.

Сокращение операционных затрат на написание проверок и работу инженеров качества данных высвобождает ресурсы для решения стратегических задач. Своевременные уведомления об ошибках ускоряют процессы принятия решений и минимизируют риски, связанные с некорректными данными. Проект поддерживает стратегию импортозамещения и создает технологическую основу для развития аналитических инструментов на базе качественных данных, позволяя компании гибко реагировать на изменения рынка и потребности клиентов.

- Каково значение проекта для отрасли?

Это успешный кейс построения единой системы контроля качества данных при переходе на импортонезависимые решения с сохранением совместимости с существующей инфраструктурой. Наш опыт может служить референсом для телеком-отрасли и смежных секторов — финансов, ретейла, госсектора — при построении гибридных систем контроля качества данных. Это позволяет другим организациям минимизировать риски при миграции, сократить затраты на поддержку разнородных систем и повысить общую надежность процессов управления данными.

- Каково будущее проекта?

Будущее проекта DataControl связано с дальнейшим расширением его функциональности и аналитики. Мы планируем внедрить автоматическое предложение бизнес-правил на основе анализа исторических данных — система будет предлагать пользователям оптимальные пороги и тренды для проверок, основываясь на паттернах поведения данных, что снизит порог входа для новых пользователей и повысит точность контроля. Также в планах — интеграция с системами машинного обучения для предиктивного обнаружения аномалий, когда система не просто фиксирует отклонения, а предсказывает, где и когда они могут возникнуть, позволяя действовать проактивно.

Мы работаем над расширением охвата: в ближайшем будущем планируем подключить новые источники данных, чтобы обеспечить единый контроль качества на всех уровнях аналитической цепочки. Параллельно развивается модуль автоматической рекомендации по исправлению ошибок — система будет не только показывать, что сломалось, но и предлагать конкретные шаги по восстановлению данных, включая SQL-скрипты и ссылки на ответственных. В долгосрочной перспективе проект трансформируется из инструмента контроля в полноценную платформу управления качеством данных, способную оценивать влияние качества на бизнес-метрики, формировать KPI для команд и интегрироваться с корпоративными системами управления данными. Конечная цель — сделать качество данных неотъемлемой частью каждого бизнес-процесса, обеспечивая доверие к информации даже для пользователей без технической подготовки.