Debezium – система CDC (Change Data Capture)

Позволяет в реальном времени отслеживать изменения в базах данных и передавать их в Kafka, Pulsar или другие стриминговые платформы

⚡ Когда использовать? ✅ Нужно поддерживать актуальные данные между БД ✅ Интеграция с внешними поставщиками без потерь событий ✅ Построение real-time ETL или микросервисной архитектуры

👨‍💻 Задача Есть мастер-база, которая хранит данные из 10 разных поставщиков контента. Нужно всегда в мастер-базе иметь актуальные остатки и статусы

• Без инструмента

1. Каждая БД поставщика опрашивается вручную своим скриптом
2. Скрипты периодически падают, нужно следить
3. Возникают дубли и несинхронные остатки
4. Сложный этап обновления скриптов
5. Переизобретаем Debezium

• С инструментом

1. Debezium фиксирует изменения у поставщиков
2. Передаёт события в Kafka
3. Обновления уходят в мастер-базу с минимальной задержкой и гарантиями

🛠 Похожие инструменты 🔹 Maxwell → проще, но без поддержки многих БД 🔹 StreamSets → коммерческий, визуальный интерфейс 🔹 Airbyte → больше про интеграции, не про события