Arenadata выпустила новую версию Arenadata Streaming Control (ADS Control, https://docs.arenadata.io/ru/ADSCONTROL/current/introduction/intro.html) — системы для управления кластерами потоковой передачи данных. Ключевые изменения в релизе: новые возможности работы с ADS.Kafka и функции безопасности.

ADS Control поддерживает управление несколькими кластерами Arenadata Streaming (ADS), в которых установлены сервисы Kafka и Kafka Connect, через графический веб-интерфейс. Решение предоставляет возможность создания, редактирования и удаления коннекторов, обеспечивает контроль над потоками данных, позволяет отслеживать ключевые показатели кластеров, оперативно находить и устранять ошибки.

В новой версии ADS Control реализована страница Schema Registry для просмотра информации о схемах и управления ими. На странице создания топиков добавлена поддержка настройки Tiered Storage и отдельное поле в таблице всех топиков для отображения статуса многоуровневого хранилища (https://arenadata.tech/about/news/reliz-arenadata-streaming-cdc-iz-korobki-mnogourovnevoe-hranenie-v-kafka-i-novyj-servis-monitoringa/). Новшества дополняют ранее реализованные функции просмотра кластера, брокера и подключённых групп пользователей, а также управления топиками Kafka.

Александр Анисимов, технический руководитель продукта Arenadata Streaming: «За последний год наша команда проделала большую работу по развитию ADS Control в качестве полнофункционального инструмента для управления всеми аспектами Kafka-кластера и сопутствующими компонентами. На сегодняшний день мы готовы отказаться от сервиса Kafka-Manager (CMAK), так как ADS Control не только полностью покрывает его функциональность, но и предоставляет новые возможности. И, конечно, мы продолжаем работать над улучшением уже существующих функций и добавлением новых».

В новой версии ADS Control добавлены и функции безопасности, соответствующие требованиям корпоративных заказчиков. Реализован плагин AuthZ для авторизации в Apache Ranger, а также поддержка синхронизации пользователей с LDAP-каталогом — теперь подключиться к веб-интерфейсу ADS Control смогут пользователи, имеющие учётную запись в каталоге MS Active Directory.

По ссылке (https://docs.arenadata.io/ru/ADSCONTROL/current/release-notes/adscc-release-notes.html#2-4-0) можно ознакомиться с полным списком изменений версии ADS Control 2.4.0.b1.


Возможности Arenadata Streaming
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
− в реальном времени строить потоковые конвейеры данных, надёжно передающих данные между системами или приложениями;
− в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
− хранить потоки записей отказоустойчивым долговечным способом;
− разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.