Что такое Log Compaction (Сжатие лога) в Kafka?

Обычно Kafka удаляет старые сообщения по времени (например, старше 7 дней).

Log Compaction — это альтернативная политика очистки. Kafka оставляет только самое последнее сообщение для каждого уникального ключа, удаляя старые версии.

Пример: Топик хранит балансы юзеров.
Было: [User1: 100 руб.] -> [User1: 150 руб.] -> [User1: 50 руб.].
После сжатия останется только: [User1: 50 руб.].

✅ Зачем: Идеально для восстановления текущего состояния системы (Event Sourcing, кэши) без необходимости вычитывать терабайты исторического мусора.