Debezium会丢失事件吗?
原文英文,约600词,阅读约需2分钟。发表于: 。This question came up on the Data Engineering sub-reddit the other day: Can Debezium loose any events? I.e. can there be a situation where a record in a database get inserted, updated, or deleted,...
Debezium可能会错过部分数据库事务日志,如果它在运行之前的一段时间内未运行并达到最大事务日志保留时间。不同的数据库有不同的处理方式,例如MySQL有一个名为binlog_expire_logs_seconds的参数,而Postgres使用复制槽来跟踪已消耗的预写日志(WAL)段。Postgres 13引入了一个新的配置选项max_slot_wal_keep_size,用于限制保留的WAL文件的大小。