Marco Slot：pg_incremental：Postgres中的增量数据处理

pg_incremental是一个开源PostgreSQL扩展，旨在实现自动化和增量批处理。

该扩展适用于物联网、时间序列和事件数据等追加数据流。

pg_incremental简化了数据聚合、转换及定期导入导出的任务。

使用pg_incremental可以创建处理管道，处理追加数据流。

pg_incremental支持增量维护汇总、数据转换和定期数据导入导出。

该扩展能够高效处理新数据，适合数据密集型工作负载。

pg_incremental的基本思想是通过SQL命令定义管道，处理指定范围的数据。

管道的每次执行都是事务性的，确保每个值只处理一次。

pg_incremental支持三种类型的管道：序列管道、时间间隔管道和文件列表管道。

序列管道处理新序列值的范围，时间间隔管道在时间间隔结束后处理数据，文件列表管道处理新出现的文件。

pg_incremental可以自动将原始JSON数据转换为表中的列，以简化查询。

时间间隔管道适合处理无法合并的聚合，例如精确的唯一计数。

pg_incremental可以将事件数据导出到远程存储系统，如S3。

用户可以通过incremental.pipelines表查看所有管道，并监控其进度。

pg_incremental在Crunchy Bridge和Crunchy Data Warehouse上可用，代码和文档可在GitHub上找到。