Группа Arenadata представила новую версию гибридной платформы данных Arenadata Hyperwave (ADH, https://arenadata.tech/ru/products/adh) 4.4.0. Ключевые изменения — интеграция OLAP-движка StarRocks и поддержка табличного формата Apache Paimon. Релиз продолжает развитие концепции Streamhouse для аналитики в реальном времени, но не ограничивается ею: платформа даёт больше вариантов при построении архитектуры данных — можно выбирать движки, табличные форматы и сценарии обработки, включая быстрый SQL и работу с потоковыми данными.

Добавление StarRocks расширяет возможности выполнения быстрых SQL-запросов при работе с большими объёмами данных. В релизе реализована интеграция сервиса с плагином безопасности Ranger, а при работе с внешними каталогами (Iceberg и Hive) добавлены поддержка Kerberos и имперсонация пользователей для разграничения доступа. Управлять топологией и конфигурацией СУБД можно через интерфейс платформы. Внутренний трафик сервиса защищён шифрованием, а архитектура рассчитана на запуск в изолированных средах.

Поддержка Paimon 2.0 предоставляет ещё один инструмент для построения современных хранилищ данных. В Arenadata Hyperwave сервис поставляется со встроенной поддержкой Spark 3 и 4, Hive, Trino (через предустановленный каталог) и Flink.

Изменения в вычислительных движках нацелены на интеграцию компонентов. Для Spark 4 добавлено удалённое подключение через Spark Connect на базе многопользовательского шлюза Kyuubi. В Kyuubi появилась поддержка профилей — это позволяет параллельно выводить новую версию Spark, не прерывая работу пользователей на предыдущей, и безопасно управлять такими переходами. Реализована интеграция с Kyuubi Arrow Flight SQL: он не только ускоряет аналитические запросы, но и открывает доступ для клиентов, которым нужны протоколы ODBC и ADBC. В сервисе Flink 2 появилась нативная поддержка таблиц Iceberg, что упрощает построение сквозных конвейеров обработки данных.

Обновления интерфейсов и автоматизации хранения затронули работу с метаданными и репликацией. В веб-интерфейсе HUE добавлено автодополнение для табличных выражений (CTE) и поддержка нескольких конечных точек для Ozone и HDFS. В панели управления HBase реализована аутентификация пользователей через LDAP. Сервис Smart Storage Manager (SSM) получил функцию фильтрации событий при репликации данных между кластерами, которая позволяет снизить нагрузку на сеть и делает репликацию более гибкой и управляемой. Обновлённый Trino ADB Connector поддерживает распределённое чтение и запись, а также прямой перенос текстовых фильтров (text pushdown).

Обновления в части безопасности и совместимости упрощают встраивание платформы в корпоративный контур. Коннекторы Trino теперь работают с системой управления секретами OpenBao. В HUE настроен контроль доступа для интерпретатора Kyuubi, а для Spark 4 добавлено действие по управлению плагином Ranger. Защита периметра усилена поддержкой TLS v1.3, а в ZooKeeper появились параметры для включения TLS и SASL. Arenadata Hyperwave 4.4.0 совместима с российскими операционными системами РЕД ОС 8.0 и Astra Linux 1.8.6, а также с новой системой мониторинга Arenadata Monitoring (ADM) 5.0.

Одновременно выпущена новая версия подсистемы безопасности Arenadata Platform Security (ADPS). В ней добавлена поддержка операционных систем РЕД ОС 8.0 и Astra Linux 1.8.6. Кроме того, в бандл включён агент vmagent для автоматической передачи преднастроенных дашбордов в систему мониторинга ADM 5.0.

Александр Анисимов, технический руководитель продукта Arenadata Hyperwave: «В версии 4.4.0 мы развиваем ADH в двух направлениях: расширяем выбор движков и форматов для аналитики и усиливаем безопасность. StarRocks и Paimon добавляют сценарии быстрого SQL и потоковой обработки, а изоляция вычислительных сред и работа коннекторов Trino с OpenBao упрощают развёртывание в контурах с жёсткими требованиями».

Полный список изменений версии Arenadata Hyperwave 4.4.0 - https://docs.arenadata.io/ru/ADH/current/release-notes/release-notes.html#4-4-0.
Полный список изменений версии Arenadata Platform Security 2.3.0 - https://docs.arenadata.io/ru/ADPS/current/release-notes/release-notes.html#2-3-0.


Возможности Arenadata Hyperwave
Arenadata Hyperwave (ADH) — универсальная платформа на основе open source компонентов и проприетарных решений, предназначенная для хранения, обработки и анализа данных вне зависимости от их структуры и объёма. ADH предоставляет набор инструментов и сервисов для реализации современных паттернов — от Data Lake до Lakehouse и Streamhouse.
Решаемые задачи:
− хранение, обработка больших объёмов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД);
− распределённая обработка информации;
− построение озёр данных, lakehouse и streamhouse (единый центр всех данных компании, быстрое развёртывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде);
− машинное обучение и искусственный интеллект;
− импортозамещение и разгрузка систем зарубежных вендоров.
На Arenadata Hyperwave получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр (https://reestr.digital.gov.ru/reestr/2456563/) российских программ для электронных вычислительных машин и баз данных, а также в реестр (https://arenadata.tech/about/news/arenadata-hadoop-sertificzirovan-po-4-urovnyu-doveriya-fstek/) системы сертификации средств защиты информации по требованиям безопасности информации.