Зачем нужно сжатие (Compression) в Kafka и где оно происходит?

Kafka позволяет сжимать сообщения (алгоритмы Snappy, LZ4, ZSTD, GZIP), чтобы экономить место на диске и сетевой трафик.

Где происходит сжатие:
Сжатие выполняется на стороне Producer (отправителя). Producer накапливает пачку сообщений (Batch) и сжимает ее целиком.
Брокер Kafka получает сжатый батч и сохраняет его на диск в сжатом виде (не тратя CPU на распаковку).
Consumer скачивает сжатый батч и распаковывает его у себя.

✅ Итог: Нагрузка на CPU переносится на клиентов, а брокер просто перекладывает байты.