DEV Community
·
Debezium + Kafka 有替代方案吗？
💡
原文英文，约900词，阅读约需4分钟。
📝
内容提要
尽管Debezium在市场上占据主导地位，但其在处理大量数据迁移时存在性能瓶颈。尝试多种替代方案后，发现开源的Conduit在性能上不及Kafka Connect，表明目前尚无合适的Debezium替代品。
🎯
关键要点
- Debezium在市场上占据主导地位，但在处理大量数据迁移时存在性能瓶颈。
- Debezium能够水平扩展，但在单个表的更新量过大时会遇到限制。
- 在特定环境中，单个表的CDC吞吐量被限制在25 MB/s，影响了数据管道的实时性能。
- 尝试了多种替代方案，包括Estuary Flow、Striim、Fivetran HVR和Conduit，但大多数不符合需求。
- Conduit是一个开源数据迁移平台，使用Golang开发，提供多种连接器。
- 实验结果显示，Kafka Connect的吞吐量显著优于Conduit。
- 目前尚无合适的Debezium替代品，尤其是在开源工具中。
➡️
