Marco Slot：由DuckDB驱动的Postgres：一体化现代数据栈
内容提要
PostgreSQL和DuckDB可以集成创建分析数据库。事务性和分析系统具有不同的架构和挑战。事务性系统专注于处理小查询和并发读查询，而分析系统在单个查询中处理大量记录。可扩展性可以弥合OLTP和OLAP系统之间的差距。DuckDB将快速分析带到单个机器，实现高效缓存。Crunchy Bridge for Analytics将DuckDB的分析性能与PostgreSQL的事务能力相结合。它提供了自由查询、ETL过程、数据跟踪、导入/导出功能以及与PostgreSQL扩展和工具的兼容性。
延伸解读
OLTP与OLAP的本质差异
文章指出，事务型系统（OLTP）和分析型系统（OLAP）在架构上存在根本不同。OLTP处理大量小查询，需保证ACID和并发读，存储围绕内存缓冲和索引；OLAP处理少量大查询，单查询可涉及数十亿记录，采用列存储和向量化执行。这种差异导致两者优化方向截然不同，混合系统（HTAP）往往性能不如专用系统。
PostgreSQL扩展性如何弥合鸿沟
PostgreSQL从设计之初就支持扩展，允许在查询处理和数据存储层面进行控制。DuckDB作为嵌入式OLAP数据库，也具备扩展性。Crunchy Bridge for Analytics利用两者的扩展API，将DuckDB集成为查询引擎，使PostgreSQL能对S3上的Parquet文件进行并行向量化分析，同时保留事务能力。
单机分析的优势与缓存策略
DuckDB将快速分析带回单机环境，避免了分布式系统的复杂性。文章提到，使用持久化机器进行分析可利用长时间缓存：本地NVMe驱动器读取速度可达2-3GB/s，远高于S3单连接50-80MB/s。将数据缓存在本地，能以有限成本发挥DuckDB的处理能力。同时，机器需与S3同区域部署以保证带宽。
Crunchy Bridge for Analytics的实用功能
该服务允许用户对S3中的Parquet文件进行快速即席查询，创建物化视图，通过pg_cron调度ETL，利用事务跟踪数据操作，高效导入导出Parquet/CSV/JSON，并兼容所有PostgreSQL工具和扩展。其目标不是实现HTAP表，而是让分析数据库与事务数据库使用同一系统，简化数据移动和工具链。
Q&A
PostgreSQL和DuckDB如何集成以创建分析数据库？
PostgreSQL通过扩展API集成DuckDB作为查询引擎，从而实现高效的分析性能。
OLTP和OLAP系统的主要区别是什么？
OLTP系统处理大量小查询，而OLAP系统处理少量大查询，二者在架构和优化上存在显著差异。
Crunchy Bridge for Analytics的主要功能是什么？
Crunchy Bridge for Analytics结合了DuckDB的分析性能和PostgreSQL的事务能力，简化了数据处理和查询。
DuckDB如何优化分析查询性能？
DuckDB通过列存储和向量化执行来优化分析查询性能，能够高效处理大量记录。
使用持久化机器进行分析有什么优势？
持久化机器可以利用长时间缓存的优势，提高分析查询的效率，避免复杂的分布式系统。
混合事务/分析处理系统（HTAP）有哪些挑战？
HTAP系统通常在性能上不如专用OLTP或OLAP系统，并可能面临功能限制和持久性降低等问题。
