Esther Minano：介绍pgstream：支持DDL变更的Postgres复制
内容提要
pgstream是一个开源的PostgreSQL CDC工具，支持DDL变更的复制，能够持续跟踪数据库模式变化，确保数据和模式同步，避免数据丢失。它易于部署，支持与Elasticsearch集成，并提供Webhook功能以响应数据变化。未来计划增加对多个Kafka主题和其他插件的支持。
延伸解读
DDL复制：pgstream的核心差异化能力
pgstream最突出的特点是支持DDL变更的复制。传统CDC工具通常只同步数据变更，当源库表结构发生变化时，下游管道可能因模式不匹配而中断，导致数据丢失和人工修复。pgstream通过SQL触发器将每次DDL变更记录到pgstream.schema_log表中，形成线性化的模式变更日志，并与数据变更在同一流中处理，确保下游消费者在依赖新模式的数据到达前先感知模式变化，从而避免数据丢失和手动干预。
模块化架构带来的部署灵活性
pgstream采用模块化流式管道设计，内部由WAL监听器和WAL处理器组成。监听器负责消费WAL事件，处理器负责将事件推送到输出插件。这种设计使得pgstream既能以最简配置运行——仅需一个Postgres数据库，也能集成Kafka应对复杂场景。目前提供Postgres监听器和Kafka读取器两种监听实现，以及Kafka批量写入、搜索批量索引和Webhook通知三种处理器，用户可根据需求灵活组合。
列重命名优化：减少搜索存储的重新索引
pgstream在翻译器中为所有列添加了pgstream ID，为每列提供恒定标识符。当发生列重命名时，列ID保持不变，这对搜索存储（如Elasticsearch）尤为重要，因为基于列名的重命名通常需要重新索引，成本可能很高。通过保持列ID稳定，pgstream最小化了因列重命名导致的重新索引开销，提升了同步效率。
未来路线图：扩展输出与数据过滤
pgstream的开发路线图包括支持多个Kafka主题、增加Postgres插件支持（pgoutput）、高级数据流过滤、自动回填现有数据、更多Kafka序列化格式（如Avro）以及更多输出插件（如Postgres、ClickHouse、Snowflake）。这些计划表明pgstream正朝着更广泛的生态集成和更精细的数据管道控制方向发展，未来有望覆盖更多异构数据存储的同步需求。
Q&A
pgstream是什么？
pgstream是一个开源的PostgreSQL CDC工具，支持DDL变更的复制。
pgstream如何确保数据和模式同步？
pgstream通过持续跟踪数据库模式变化，确保数据和模式同步，避免数据丢失。
pgstream的主要功能有哪些？
pgstream的主要功能包括DDL变更的复制、模块化部署配置、Elasticsearch集成和Webhook支持。
pgstream的架构设计有什么特点？
pgstream采用模块化设计，便于配置和集成，适用于简单和复杂的用例。
pgstream未来有哪些发展计划？
pgstream未来计划增加对多个Kafka主题和其他插件的支持，以及高级数据流过滤等功能。
pgstream如何处理DDL变更？
pgstream通过SQL触发器自动跟踪DDL变更，并将其记录在pgstream.schema_log表中。
