Что такое Kafka Connect?

Kafka Connect — это инструмент для потоковой передачи данных между Kafka и другими системами без написания кода.

Работает через готовые плагины (Коннекторы):

• Source Connector (Источник): Забирает данные из внешней системы и кладет в Kafka. Пример: Debezium читает логи PostgreSQL (CDC) и пушит каждое изменение строки в топик Kafka.


• Sink Connector (Приемник): Читает данные из топика Kafka и сохраняет во внешнюю систему. Пример: Elasticsearch Sink Connector берет логи из Kafka и складывает в индексы Elastic для поиска.