Для оптимизации бизнес-процессов S7 Airlines, крупнейшая частная авиакомпания России, активно использует data-driven подход. Несмотря на то что первоначально ее платформа данных работала на SQL-движке иностранного производства, компания приняла решение о переходе на российское ПО. Выбор был сделан в пользу CedrusData, основанной на активно развивающемся open-source решении с широким сообществом разработчиков.

Ситуация до внедрения

Процесс подготовки отчетов был медленным и неэффективным. Данные приходилось перемещать между системами, что удлиняло цикл отчетности, а поиск и исправление ошибок в ETL отнимали огромное количество времени. Сложная архитектура системы блокировала возможность быстрого ad-hoc-анализа. В результате каждый запрос бизнеса превращался в отдельный проект: нужно было формулировать четкие требования, подключать аналитиков и разработчиков и долго ждать результата, из-за чего решения принимались на основе устаревших данных.

Причины смены технологического решения:
1. Масштабируемость: Прежняя платформа (Dremio) не могла масштабироваться при росте объемов данных и запросов.
2. Функционал и поддержка: Community-версия Dremio не предоставляла необходимого уровня безопасности и технической поддержки.
3. Производительность: Высокая нагрузка на источники данных снижала общую эффективность работы.

Ключевые цели проекта:
● Обеспечить быстрый и защищенный доступ к корпоративным данным.
● Расширить функциональные возможности для глубокого анализа.
● Снизить временные затраты на получение данных и формирование отчетности.
● Провести миграцию на отечественное программное обеспечение.
● Повысить степень достоверности, прозрачности и согласованности данных.
● Внедрить инструменты для интерактивного (ad-hoc) и самостоятельного (self-service) анализа.
● Ускорить выполнение сложных запросов и обработку больших объемов информации.
● Реализовать анализ потоковых данных в реальном времени (запросы к топикам Kafka).
● Создать удобную среду для работы с данными для бизнес-специалистов без глубоких технических знаний.


Решение:

S7 Airlines выбрала CedrusData после тестирования нескольких решений. Ключевыми критериями были скорость, производительность, масштабируемость и безопасность. CedrusData продемонстрировал высокую скорость выполнения запросов, горизонтальную масштабируемость, простоту развертывания, безопасную архитектуру и возможности очень гибкой конфигурации. На простых тестах CedrusData показал те же результаты, что Dremio, но при пятикратно меньших вычислительных ресурсах.

CedrusData используется для доступа к данным в PostgreSQL, ClickHouse, Oracle, Vertica, Data Lake (S3+Parquet/Iceberg) и Kafka. Миграция с Dremio заняла около 3-4 месяцев, а через 9 месяцев старые сервисы были отключены, так как в них никто не использовал.

Юрий Гаврилов, владелец продукта платформы данных S7 Airlines, отмечает:

“Часть отчетов работает напрямую с источниками, часть – через другие платформы, а часть – через новый движок CedrusData. Минимизация времени подготовки отчетов была не единственной целью. Мы стремились упростить инфраструктуру, внедрить self-service подход и улучшить взаимодействие между командами. В результате мы сократили трудозатраты, пользователи получили возможность самостоятельно строить отчеты и простые ETL-процессы с помощью dbt, обходить узкие места и, что самое важное, стали больше доверять данным, которые загружают сами.”

Результаты:

Благодаря внедрению платформы CedrusData, авиакомпания S7 Airlines достигла следующих результатов:
● Обеспечена высокая скорость консолидации и агрегации значительных массивов данных.
● Существенно сократились временные затраты на проведение аналитических расчетов и получение итоговых отчетов.
● Появились принципиально новые возможности для глубокого анализа информации.
● Сотрудники получили инструменты для независимого исследования данных без привлечения IT-специалистов (self-service analytics).
● Значительно упростился процесс работы с данными в различных бизнес-сферах, включая маркетинговый анализ.
● Был повышен уровень защищенности корпоративной информации и обеспечен контроль доступа к данным.

Юрий Гаврилов, владелец продукта платформы данных S7 Airlines, отмечает:

“Интересно, что новые подходы оказались гораздо более устойчивыми к изменениям и воспринимаются позитивно. Внедрять их стало проще и менее болезненно. Еще одним важным плюсом стала перестройка правил доступа к данным. Хотя предстоит еще много работы, порядок значительно улучшился. Пользователи видят только необходимые им данные, ведутся логи, минимизированы прямые доступы. Новые доступы предоставляются по прозрачной схеме, хотя пока не всегда быстро, но мы работаем над этим и знаем, как улучшить ситуацию.”


Планы на будущее:

● Миграция рабочих нагрузок, перемещение данных в Data Lake/Lakehouse (новый S3).
● Развитие self-service на базе каталога данных Datahub и QueryBook.
● Развитие инструментов управления данными и концепции Data Mesh (включая применение ИИ и таких продуктов как Apache Seatunnel и др).
● Развитие мониторинга для анализа данных и повышение качества данных.
● Более тесная интеграция инструментов и компонентов с CedrusData.
● Замена metastore на новый встроенный metastore в CedrusData.
● Включение и адаптация нового типа коннектора Arrow Flight.
● Изучить, реализовать и внедрить новые подходы использования UI CedrusData для встраивания другие приложениях.

Хотите так же? Протестируйте CedrusData (www.cedrusdata.ru/download) на своих данных и получите готовые отчёты в разы быстрее.