肖宇伟：pg_duckpipe：2026年3月的新特性
内容提要
pg_duckpipe是一个PostgreSQL扩展，提供实时变更数据捕获（CDC），将常规表同步到DuckLake列式表。它支持透明查询路由、追加同步模式、流式合并和分区表，简化数据分析和事务处理。新特性包括自动DDL传播和稳定性改进，提升了生产环境的可观察性和稳定性。
关键要点
-
pg_duckpipe是一个PostgreSQL扩展，提供实时变更数据捕获（CDC），将常规表同步到DuckLake列式表。
-
支持透明查询路由，分析查询自动重定向到DuckLake表。
-
新增的追加同步模式将每个变更记录为不可变的变更日志，支持无主键表。
-
支持将多个源数据库流式合并到一个DuckLake目标表中，便于分析。
-
自动检测分区表，简化配置，所有子分区的数据会统一显示在目标表中。
-
模式DDL传播功能，源表的架构变更会自动同步到DuckLake目标表。
-
稳定性和可观察性改进，包括可溢出缓冲区和共享内存指标，提升生产环境的稳定性。
延伸解读
实时变更数据捕获的优势
pg_duckpipe通过实时变更数据捕获（CDC）技术，将常规表的数据实时同步到DuckLake列式表。这种方式不仅提高了数据分析的效率，还简化了数据处理流程，特别适合需要同时进行事务处理和分析的场景。用户可以在不依赖外部工具的情况下，利用PostgreSQL的原生功能实现高效的数据管理。
新特性对生产环境的影响
pg_duckpipe的新特性如自动DDL传播和稳定性改进，显著提升了生产环境的可观察性和稳定性。自动DDL传播确保了源表的架构变更能够及时反映到目标表中，减少了手动操作的风险。而稳定性改进则通过优化内存管理和并发控制，降低了系统崩溃的可能性，适合高负载的生产环境。
多源数据库合并的便利性
pg_duckpipe支持将多个源数据库的数据流式合并到一个DuckLake目标表中，这为数据整合提供了极大的便利。用户可以轻松追踪数据来源，确保分析的准确性。这种功能特别适合需要从不同业务系统中汇总数据的企业，能够有效提升数据分析的全面性和深度。
延伸问答
pg_duckpipe的主要功能是什么？
pg_duckpipe是一个PostgreSQL扩展，提供实时变更数据捕获（CDC），将常规表同步到DuckLake列式表。
pg_duckpipe如何支持透明查询路由？
pg_duckpipe通过一个规划器钩子自动重写SELECT查询，将分析查询重定向到DuckLake表，无需更改查询。
pg_duckpipe的新追加同步模式有什么特点？
追加同步模式将每个变更记录为不可变的变更日志，支持无主键表，并保证准确性。
如何在pg_duckpipe中处理分区表？
pg_duckpipe自动检测分区表，用户只需添加父表，所有子分区的数据会统一显示在目标DuckLake表中。
pg_duckpipe的DDL传播功能如何工作？
pg_duckpipe支持源表的架构变更自动同步到DuckLake目标表，无需事件触发或外部钩子。
pg_duckpipe在稳定性和可观察性方面有哪些改进？
pg_duckpipe改进了可溢出缓冲区、并发刷新控制和共享内存指标，提升了生产环境的稳定性。
