Офис цифровизации РУП «Белтаможсервис» реализовал проект по импортозамещению и развитию Центрального хранилища данных таможенной информации для Минской центральной таможни в рамках реализации госпрограммы «Цифровое развитие Беларуси» на 2021–2025. Переход на новое решение на стеке open source снизил эксплуатационные и технологические риски и улучшил производительность платформы данных. О реализации проекта рассказывает Сергей Костенко, начальник управления офиса цифровизации РУП «Белтаможсервис» и номинант на премию Data Award.

- Что представляла собой в таможенных органах инфраструктура для работы с данными до реализации проекта?

Центральное хранилище данных таможенной информации (ЦХДТИ) функционировало на базе Oracle Database 11g. Для подготовки отчетности, трансформации данных и построения ETL-процессов использовался SAP BusinessObjects. Система эксплуатировалась более 10 лет и обслуживала порядка 50 пользователей — сотрудников таможенных органов Республики Беларусь. ЦХДТИ обеспечивало консолидацию таможенных и статистических данных внешней торговли, формирование аналитических витрин и подготовку регламентной отчётности для нужд таможенных органов.

- Чем не устраивала ситуация? Какие возникали проблемы?

Техническая поддержка Oracle и SAP на территории Республики Беларусь прекратилась несколько лет назад. Отсутствие поддержки и обновлений привело к нарастающему падению производительности системы и существенно ограничило возможности ее модернизации. Возникли лицензионные риски, связанные с невозможностью продления и легитимного использования проприетарных продуктов. Кроме того, сложилась критическая зависимость от первоначального интегратора — единственной организации, обладавшей компетенциями по сопровождению этого решения. Все это создавало угрозу устойчивости системы, от которой напрямую зависят отчетность и мониторинг деятельности таможенных органов.

- Какие задачи были поставлены?

В рамках реализации Государственной программы «Цифровое развитие Беларуси» на 2021–2025 годы требовалось выполнить миграцию ЦХДТИ с проприетарного стека Oracle и SAP BusinessObjects на решения с открытым исходным кодом. Необходимо было устранить риски, связанные с отсутствием технической поддержки, ликвидировать зависимость от конкретного вендора и интегратора. Мы поддерживаем стратегический курс на импортозамещение и использование продуктов open source. Было важно повысить устойчивость и управляемость ИТ-ландшафта, обеспечивая надежную обработку критически важной таможенной и статистической информации для анализа внешней торговли Республики Беларусь.

- Какой подход был выбран?

Для реализации проекта была сформирована проектная команда с привлечением компании A2 Консалтинг в качестве субподрядчика, обладающей экспертизой в области миграции хранилищ данных и построения ETL-процессов на стеке open source. Совместно мы приступили к созданию нового программного решения для регулярного обновления ЦХДТИ, аналитических витрин данных и базы таможенной статистики. При этом было важно сохранить, а по возможности — улучшить, производительность по сравнению с решением на базе Oracle и SAP. Суть проекта заключалась в миграции хранилища данных и ETL-процессов с проприетарных продуктов на стек open source с построением масштабируемой архитектуры и полным жизненным циклом внедрения.

- На каких платформах построено решение?

Решение реализовано на СУБД PostgreSQL и оркестраторе Apache Airflow в трех контурах – разработка и тестирование, предпродуктивный, продуктивный – с использованием GitLab для управления исходным кодом и процессами разработки. Система охватывает таможенные и статистические данные внешней торговли Республики Беларусь, общий объем мигрированных данных составил порядка 4 Тбайт.

- Что было сделано в ходе проекта?

Проектной командой переписано более 800 потоков данных и 200 функций, разработано свыше 80 DAG и 1400 Task в Apache Airflow. Сокращено время загрузки больших объемов данных, обеспечены предсказуемые SLA и корректная миграция схем и данных.

- Что выделяет ваш проект?

Сочетание масштабной миграции — около 4 Тбайт данных, более 800 потоков и 200 функций — с сохранением и улучшением производительности при полном переходе на стек open source PostgreSQL и Apache Airflow. Отдельно можно выделить динамическую генерацию задач на основе JSON/YAML-конфигураций, комбинированный подход к загрузке данных (CSV и DataFrame) и реализацию полной цепочки работ — от анализа требований до ввода в промышленную эксплуатацию в трех контурах. Проект выполнен в логике государственной программы импортозамещения, что делает его воспроизводимым ориентиром для других государственных организаций.

- Какие результаты достигнуты и ожидаются?

Время загрузки данных сокращено до 50% по сравнению с прежним решением на Oracle. Обеспечено выполнение SLA: полный цикл ночной загрузки и обработки данных завершается в регламентные сроки, и к началу рабочего дня актуальные данные доступны пользователям. Количество пользователей системы выросло с 50 до 100, обслуживается порядка 100 отчетов и большое количество аналитических витрин данных.

Построенное решение обеспечивает стабильное и своевременное получение данных для аналитики внешнеэкономической деятельности. Оно способствует более качественному учету и анализу внешней торговли Республики Беларусь, что важно для таможенных органов и государственных структур, регулирующих внешнеэкономическую деятельность. Переход на новое решение снижает эксплуатационные и технологические риски, позволяя планировать развитие ИТ-инфраструктуры без привязки к устаревшим и неподдерживаемым продуктам.

Ожидаемые эффекты — снижение совокупной стоимости владения за счет перехода на open source, устранение лицензионных рисков, упрощение дальнейшего развития и сопровождения решения и устойчивое функционирование системы в долгосрочной перспективе.

- А с точки зрения бизнеса?

Важно подчеркнуть, что ЦХДТИ — это система, от которой зависит деятельность таможенных органов Республики Беларусь, в первую очередь Минской центральной таможни и таможенной службы в целом. Именно таможенные органы являются основными потребителями данных: они используют ЦХДТИ для формирования регламентной отчетности, оперативного мониторинга и анализа внешнеторговых потоков. Проект повысил актуальность и своевременность предоставления данных, а переход на новую платформу открыл возможности для расширения аналитического функционала, которые были недоступны на прежнем стеке. Белтаможсервис как офис цифровизации обеспечивает эксплуатацию и развитие этой критически важной инфраструктуры в интересах государства.

- Каково значение проекта для отрасли?

Это практический кейс импортозамещения в рамках Государственной программы «Цифровое развитие Беларуси», реализованный в крупной государственной логистической компании. Он демонстрирует возможность успешного перехода с проприетарных решений Oracle и SAP на PostgreSQL и Apache Airflow в масштабе государственной системы таможенной информации. Формируется отраслевой ориентир по построению открытых, масштабируемых и безопасных хранилищ таможенных и логистических данных.

- Что дальше? Каковы направления развития проекта?

Приоритетные направления развития включают расширение аналитических возможностей ЦХДТИ за счет внедрения современного BI-слоя на базе open source решений для замены SAP BusinessObjects. Рассматривается подключение новых источников данных для обогащения аналитики. Планируется дальнейшее масштабирование архитектуры с учетом роста объемов данных и числа пользователей. В перспективе возможно применение методов машинного обучения для углубленного анализа внешнеторговых потоков и выявления аномалий.