Группа Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS, https://arenadata.tech/products/arenadata-streaming/). Релиз ADS 3.9.1.2.b1 включает ряд функциональных и технологических обновлений, направленных на повышение производительности, безопасности и удобства эксплуатации кластеров.

Ключевое улучшение версии — поддержка сервиса Ozone, входящего в состав гибридной платформы Arenadata Hyperwave (https://arenadata.tech/products/arenadata-hyperwave/). Интеграция позволяет использовать масштабируемое объектное хранилище для задач потоковой обработки. Теперь можно записывать данные из Kafka в iceberg-таблицы с помощью Iceberg Sink Connector (https://docs.arenadata.io/ru/ADSCONTROL/current/how-to/iceberg.html), а также передавать «холодные» данные, требующие длительного хранения, в более экономичное S3-хранилище с помощью опции Kafka Tiered Storage (https://docs.arenadata.io/ru/ADStreaming/current/concept/architecture/kafka/tiered_storage_overview.html).

Начиная с новой версии Arenadata Streaming режим Kafka Raft (KRaft, https://docs.arenadata.io/ru/ADStreaming/current/concept/architecture/kafka/kraft_overview.html) доступен для использования в производственных средах. Протокол согласования KRaft предназначен для управления метаданными внутри Kafka, что позволяет устранить зависимость от внешнего сервиса (ZooKeeper), упростить работу с Kafka, сократить целевое время восстановления системы (RTO) и кратно увеличить доступное число партиций, поддерживаемых одним кластером. Для поддержки режима KRaft в новой версии ADS улучшена работа сервиса Monitoring.

Расширены возможности NiFi 2 [1]: в Monitoring добавлен дашборд с метриками этого сервиса. Кроме того, в релизе оптимизированы операции с кластером и сервисами: сокращено время выполнения операций запуска, остановки и перезапуска кластера, а также время выполнения перезапуска Kafka.

Обновления затронули и технологическую основу продукта. Дистрибутив Arenadata Streaming переведён на Java 21 для сборки и работы всех сервисов и использует Ansible 2.16. Это позволит повысить производительность, стабильность и безопасность, а также подготовить инфраструктуру к будущим обновлениям поддерживаемых операционных систем.

Александр Анисимов, технический руководитель продукта Arenadata Streaming: «В новой версии Arenadata Streaming мы сфокусировались на расширении интеграций и укреплении технологического фундамента платформы. Поддержка Ozone из экосистемы Arenadata Hyperwave позволит нашим клиентам создавать эффективные гибридные решения, объединяя потоковую обработку с lakehouse-архитектурами. Переход на Java 21 и Ansible 2.16 — шаг для обеспечения долгосрочной актуальности и безопасности».

Полный список изменений версии Arenadata Streaming 3.9.1.2.b1 доступен по ссылке - https://docs.arenadata.io/ru/ADStreaming/current/release-notes/release-notes.html#3-9-1-2.

Возможности Arenadata Streaming
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
− в реальном времени строить потоковые конвейеры данных, надёжно передающих данные между системами или приложениями;
− в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
− хранить потоки записей отказоустойчивым долговечным способом;
− разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.

--------------------------------------
[1] Сервис NiFi 2 предназначен для ознакомления в режиме технологического превью и не рекомендован для продуктивного использования.