Новый ADH Cloud 1.4.0 делает ставку на Spark: оператор, YuniKorn и Celeborn приходят в Kubernetes
Группа Arenadata выпустила обновление модуля ADH Cloud в составе гибридной платформы данных Arenadata Hyperwave (ADH). Если предыдущая версия развивала прежде всего направления Impala и Trino, то релиз 1.4.0 сместил фокус на экосистему Spark — теперь она охватывает весь цикл работы с приложениями: от распределения ресурсов до разбора логов уже завершенных задач.
Суть модуля ADH Cloud в том, что вычислительные движки Arenadata Hyperwave запускаются в Kubernetes, тогда как сами данные и состояние кластера остаются в базовом ADH. Новая версия продолжает эту логику, давая возможность масштабировать аналитические нагрузки Spark в облаке гибко и изолированно, не выходя за защищенный контур данных.
Для релиза создан оператор Spark для Kubernetes, который ведет приложение по всему жизненному циклу — от развертывания и масштабирования до автоматической уборки ресурсов. Чтобы работа в контейнерной среде стала предсказуемой, в состав ADH Cloud вошел планировщик YuniKorn: он управляет очередями задач и распределяет ресурсы между командами и пользователями, а его веб-интерфейс получил поддержку аутентификации Kerberos, SPNEGO и LDAP.
Еще один новый компонент — Celeborn, удаленный shuffle-сервис. Он выносит самые нагруженные операции с локальных дисков узлов во внешнее хранилище (HDFS, Ozone, в том числе по протоколу ofs, и S3), что позволяет запускать Spark на рабочих узлах вообще без физических локальных дисков. Замыкает набор Spark History Server: он хранит и показывает историю выполнения приложений, включая логи, метрики и статусы задач, причем даже после их завершения и без доступа к контейнерам или логам отдельных подов.
По словам Ивана Никерина, технического менеджера продукта Cloud & Data Services, тонкое управление вычислительными нагрузками — это следующий шаг после запуска движков в Kubernetes: «YuniKorn и Celeborn закрывают исторические ограничения Spark в контейнерной среде: непредсказуемое распределение ресурсов между командами и зависимость от локальных дисков». В релизе также упростили сбор и визуализацию метрик — появилась интеграция с VictoriaMetrics и Prometheus для отслеживания состояния оператора Kerberos, а вместе с ней поддержка PodMonitor, ServiceMonitor, VMPodScrape и VMServiceScrape: администратор выбирает способ подключения под свою систему мониторинга, не трогая код. Кроме того, разработан механизм предварительно созданных секретов Kubernetes с централизованным хранением для Trino, Impala, Spark, YuniKorn и Celeborn, а в Arenadata Cloud CLI добавлена команда adc list, дающая быстрый доступ к состоянию инфраструктуры без переключения на kubectl.
Arenadata Hyperwave (ADH) — универсальная платформа на базе open source компонентов и собственных решений для хранения, обработки и анализа данных любого объема и структуры: от Data Lake до Lakehouse и Data Mesh. Она закрывает задачи от распределенной обработки и машинного обучения до импортозамещения и разгрузки зарубежных СУБД. На продукт получено свидетельство о государственной регистрации программы для ЭВМ, он включен в единый реестр российского ПО и в реестр системы сертификации средств защиты информации по требованиям безопасности информации.
Загрузка...
