Вопрос: В чем состоит принципиальное отличие руководителей от бизнес-аналитиков и исследователей данных?

Ответ: У них нет времени ждать отчёты с нужными цифрами. Им нужно принимать важные решения прямо здесь и сейчас. Ведь промедление может стоить очень дорого. Но возможно ли быстро выудить достоверные, а главное, актуальные данные из неструктурированного озера данных?

Основная проблема:

Есть корпоративное хранилище, оно содержит огромный объём информации, который продолжает расти, с ним в «онлайне» работают сотни пользователей. Они подают сложнейшие запросы для подготовки нужных отчётов. Часто, в силу технических и архитектурных причин, включая аппаратное обеспечение, софт и текущую загрузку системы, эти запросы обрабатываются часами. В ожидании пользователи идут пить кофе. И есть вероятность, что спустя несколько чашек вместо результата они увидят сообщение, что ресурсная квота превышена. То есть их запрос никогда не вернёт ожидаемые данные. Мы назвали это явление «coffee-break analytics».

Новаторский подход:

Что делает с данными Luxms BI, чтобы подготовка требуемых отчётов занимала считанные секунды? Первый элемент – это датацентричная, двухзвенная архитектура BI системы, в которой сервер приложений расположен внутри базы, максимально близко к данным. Второй элемент – организация трёх слоёв данных: «горячий» (наиболее часто используемые данные), «тёплый» (данные, к которым обращаются время от времени) и «холодный» (архивы). И третий, но не менее важный элемент – модернизация ETL-процессов за счёт подготовки высокооптимизированных для визуализации таблиц с нужными здесь и сейчас, «горячими», данными. Мы готовим эти таблицы с помощью нашего post-ETL инструмента Luxms Data Boring («бурение данных»). Важнейшая часть Luxms Data Boring – cтыковка со скоростной системой хранения, типа СlickHouse или Dremio. «Засверливаясь», Luxms Data Boring берет выделенную часть из любого источника, будь то озеро данных, Kafka, СУБД или любой другой, и перекладывает в скоростную систему хранения, причем часть сложных операций выполняется прямо в СlickHouse, тем самым избавляя системы хранения от тяжелых нагрузок.

Решение:

Luxms BI предлагает инновационный программный продукт, который не только имеет специально оптимизированные для управленческой отчётности интерактивные дэшборды, но еще и берёт на себя подготовку данных для быстрой визуализации с помощью Luxms Data Boring.

Недавно проведенные тесты показали, что наш подход в 4-5 раз быстрее любых других конкурентных решений. Зачем тратить время на ожидание отчётов, если их можно получать здесь и сейчас? Выбор за вами.