Supabase Pipelines现已进入公开Alpha阶段
内容提要
Supabase Pipelines进入公开alpha，新增自动检测并应用源表schema变更至目标端，提升初始同步速度，并开放ClickHouse、Snowflake、DuckLake目的地申请。该工具通过Rust编写的ETL，将Postgres数据近实时复制到BigQuery等分析系统，采用按管道和用量计费，目前仅支持BigQuery，持续优化性能与扩展目的地。
延伸解读
Schema变更自动同步的实用价值
本次更新最值得关注的是schema变更自动同步。过去，当Postgres表结构变化时，用户需要手动在BigQuery中执行相应的迁移，繁琐且易出错。现在，添加、删除、重命名列以及修改列的空值约束和默认值都能自动应用到目标端，大大减少了运维负担。但需注意，目前仅支持这些特定变更，其他类型变更（如数据类型修改）仍需手动处理，且不同目的地可能有差异。
计费模式与成本考量
Supabase Pipelines采用按管道和用量计费：每小时每管道0.053美元，初始同步数据每GB 0.60美元，持续复制数据每GB 3美元。管道创建即开始计费，即使暂停或未使用也按小时收费。这意味着用户需要评估数据量和复制频率，以预估成本。例如，高频变更的数据集可能产生较高的持续复制费用。建议在正式使用前，根据实际数据规模进行成本估算。
Alpha阶段的限制与预期
目前Pipelines处于公开Alpha阶段，仅支持BigQuery作为目的地，且所有付费计划可用。性能、内存和延迟仍在持续优化中，多区域支持也在评估中。用户应预期功能可能变化，计费也可能调整。对于生产环境，建议先在测试环境验证，并关注官方更新。此外，虽然支持至少一次投递，但用户仍需了解潜在的重复数据处理需求。
Q&A
Supabase Pipelines是什么？它有什么用途？
Supabase Pipelines是一个数据复制工具，可以将Supabase Postgres数据库中的数据近实时地复制到外部分析系统（如BigQuery），以便在不影响生产数据库性能的情况下进行大规模分析。它由Rust编写的开源ETL工具Supabase ETL驱动，支持初始同步和持续变更数据捕获。
Supabase Pipelines的公开Alpha版本新增了哪些功能？
公开Alpha版本新增了schema变更支持（自动检测并应用支持的schema变更到目标端）、更快的初始同步（支持并行化），以及一个用于申请新目的地（ClickHouse、Snowflake、DuckLake）的表单。
Supabase Pipelines支持哪些目的地？如何申请新的目的地？
目前公开Alpha阶段仅支持Google BigQuery作为目的地。用户可以通过官方提供的表单申请支持ClickHouse、Snowflake和DuckLake，团队会根据用户需求优先开发。
Supabase Pipelines如何处理schema变更？
当源表发生支持的schema变更时（如添加列、删除列、重命名列、更改列的可空性和默认值），Pipelines会自动将这些变更应用到目标端，无需手动迁移。不支持的变更可能需要手动处理。
Supabase Pipelines的定价模式是怎样的？
定价基于管道和用量：每个配置的管道每小时收费$0.053，初始同步数据每GB收费$0.60，持续复制数据每GB收费$3。管道创建后即开始计费，即使暂停或未激活也按小时收费。
Supabase Pipelines和Supabase Realtime有什么区别？
Realtime用于通过WebSocket提供实时用户体验，而Pipelines用于将数据可靠地移动到分析系统。简而言之，Realtime面向实时交互，Pipelines面向数据集成和分析。
Supabase Pipelines的复制机制是怎样的？
它使用Postgres逻辑复制。创建管道时，选择要复制的表，进行初始同步（可并行），完成后切换到持续复制，从复制槽读取变更并批量写入目标端。支持至少一次投递，并在目标端不可用时自动恢复。
Supabase Pipelines在公开Alpha阶段有哪些限制？
目前仅支持BigQuery作为目的地，且仅适用于所有付费计划。schema变更支持有限，性能、内存和延迟仍在优化中，多区域支持正在评估。
