Релиз Apache Kafka 3.8

В конце июля 2024 года, согласно текущему плану развития проекта, состоялся релиз универсального и мощного инструмента для построения конвейеров данных в реальном времени и event-driven приложений Apache Kafka 3.8 с поддержкой JBOD в многоуровневом хранилище, детальной настройкой уровня сжатия, улучшениями безопасности и возможностью удаление неоднозначных конфигураций.

Предыдущая версия Apache Kafka 3.7 вышла в феврале 2024 года. Следующий релиз Apache Kafka 3.9 планируется в начале осени.Разработчики проекта обновили раздел документации по обновлению до 3.8.0 с любой версии 0.8.x по 3.7.x с подробными шагами для корректного выполнения действий.Основные изменения и дополнения в Apache Kafka 3.8:• поддержка JBOD (Just a Bunch Of Disks) в кластерах на базе KRaft перешла в статус производственного использования.

С полноценной поддержкой JBOD можно вести несколько каталогов журналов для каждого брокера, чтобы запускать крупные развёртывания с несколькими устройствами хранения на разных узлах кластера Kafka с протоколом Kafka;• включён механизм конфигурации продюсера, брокера и топика для указания уровня сжатия, добавлены три новых целочисленных параметра для кодеков gzip, lz4 и zstd: compression.gzip.level, compression.lz4.level и compression.zstd.level.