morling.dev -- Blog
·
Debezium会丢失事件吗？
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
Debezium可能会错过部分数据库事务日志，如果它在运行之前的一段时间内未运行并达到最大事务日志保留时间。不同的数据库有不同的处理方式，例如MySQL有一个名为binlog_expire_logs_seconds的参数，而Postgres使用复制槽来跟踪已消耗的预写日志（WAL）段。Postgres 13引入了一个新的配置选项max_slot_wal_keep_size，用于限制保留的WAL文件的大小。
🎯
关键要点
- Debezium可能会错过部分数据库事务日志，尤其是在未运行一段时间后达到最大事务日志保留时间。
- Debezium的语义是至少一次，即可能会出现重复事件，但不会错过任何事件。
- 不同数据库有不同的配置参数来控制事务日志的保留，例如MySQL的binlog_expire_logs_seconds参数。
- Postgres使用复制槽跟踪已消费的预写日志（WAL），并在所有复制槽确认后才会丢弃旧的WAL段。
- Postgres 13引入了max_slot_wal_keep_size配置选项，用于限制复制槽保留的WAL文件大小。
- 如果复制槽的保留WAL文件超过配置值，旧的WAL段将被删除，避免数据库耗尽磁盘空间。
➡️
