Debezium – система CDC (Change Data Capture)
Позволяет в реальном времени отслеживать изменения в базах данных и передавать их в Kafka, Pulsar или другие стриминговые платформы
⚡ Когда использовать? ✅ Нужно поддерживать актуальные данные между БД ✅ Интеграция с внешними поставщиками без потерь событий ✅ Построение real-time ETL или микросервисной архитектуры
👨💻 Задача Есть мастер-база, которая хранит данные из 10 разных поставщиков контента. Нужно всегда в мастер-базе иметь актуальные остатки и статусы
- Без инструмента
- Каждая БД поставщика опрашивается вручную своим скриптом
- Скрипты периодически падают, нужно следить
- Возникают дубли и несинхронные остатки
- Сложный этап обновления скриптов
- Переизобретаем Debezium
- С инструментом
- Debezium фиксирует изменения у поставщиков
- Передаёт события в Kafka
- Обновления уходят в мастер-базу с минимальной задержкой и гарантиями
🛠 Похожие инструменты 🔹 Maxwell → проще, но без поддержки многих БД 🔹 StreamSets → коммерческий, визуальный интерфейс 🔹 Airbyte → больше про интеграции, не про события
Впервые опубликовано: @ai_ossresearch.
Методология
Методология одной книгой
Как Product Owner ведёт запрос бизнеса от первого письма до результата, который можно показать: пять стадий, у каждой понятный выход. Оставьте почту, и я пришлю книгу.
Читать дальше
- Telethon
Позволяет спарсить Telegram чаты, каналы от твоего личного имени. Закрытые группы, переписки, подписки от твоего аккаунта
- emilkowalski/skills
Набор скиллов для хорошего дизайна и визуала на промо-проектах. Просто качественные принципы для клода
- YDB (Yandex Database)
DynamoDB/Aurora Serverless в мире Yandex Cloud Когда применять Нужна БД для стартапа, где не нужно платить за простой серверов.