David Wheeler:pg_clickhouse 0.11.1:新增 pgvector 及 UPDATE、DELETE 下推支持

David Wheeler:pg_clickhouse 0.11.1:新增 pgvector 及 UPDATE、DELETE 下推支持

💡 原文英文,约1600词,阅读约需6分钟。
📝

内容提要

pg_clickhouse v0.11.1 发布,虽为小版本但改进显著:新增 pgvector 类型映射,可将 ClickHouse 的 Array(Float32/64) 列映射为 PostgreSQL vector 列,并支持下推 pgvector 距离运算符(L2、L1、余弦距离)及向量索引检测;同时支持 MergeTree 表的 UPDATE、DELETE、TRUNCATE 下推,以及线性回归聚合函数、聚合返回 NULL、JSONB 下标、时区和无约束 NUMERIC 的下推优化。

🔎

延伸解读

向量检索下推的实际意义

pg_clickhouse 0.11.1 将 pgvector 的距离运算符(<->、<+>、<=> 等)下推到 ClickHouse 的 L2Distance、L1Distance、cosineDistance 等函数,并在 EXPLAIN 中显示是否使用了向量索引。这意味着在 PostgreSQL 中写的向量相似度查询,可以借助 ClickHouse 的向量索引执行,而不是把全部数据拉到 PostgreSQL 再计算。对于已经在 ClickHouse 中存储向量数据的场景,这能减少数据传输和重复计算。

UPDATE/DELETE 下推的适用边界

新版本支持将 UPDATE、DELETE、TRUNCATE 下推到 MergeTree 表,但 UPDATE 需要先启用 enable_block_number_column 和 enable_block_offset_column 设置。文章特别提醒,ClickHouse 的轻量级更新适合少量行(约不超过表的 10%),而 PostgreSQL 的 UPDATE/DELETE 可以不带 WHERE,pg_clickhouse 会补上 WHERE true 以匹配 PostgreSQL 行为。因此在大表上执行无 W

聚合与类型兼容性的细节改进

该版本还修复了聚合返回 NULL 的行为:当聚合没有输入值时,下推 sumOrNull、avgOrNull、minOrNull 等,而不是返回 ClickHouse 默认值(如 0),从而与 PostgreSQL 保持一致。此外,线性回归聚合函数在 ClickHouse 26.9 及以上版本可下推;无约束 NUMERIC 使用 Decimal(76, 38) 并会修剪尾随零;JSONB 下标和时区设置也得到下推支持。这些改进减少了跨库查询时的结果差异。

❓

Q&A

pg_clickhouse 0.11.1 如何将 ClickHouse 的数组列映射为 PostgreSQL 的 vector 类型?

需要使用显式的 CREATE FOREIGN TABLE 语句,将 ClickHouse 的 Array(Float32) 或 Array(Float64) 列映射为 PostgreSQL 的 vector 列,而不是通过 IMPORT FOREIGN SCHEMA。例如:CREATE FOREIGN TABLE items (id int NOT NULL, category text NOT NULL, v vector(4) NOT NULL) SERVER ch_server;

pg_clickhouse 0.11.1 支持哪些 pgvector 距离运算符的下推?

支持的下推运算符包括:=、<>、<->(L2 距离,对应 L2Distance)、<+>(L1 距离,对应 L1Distance)、<=>(余弦距离,对应 cosineDistance)、<#>(负内积,对应 dotProduct),以及 inner_product() 和 vector_dims() 函数。

pg_clickhouse 如何检测并利用 ClickHouse 的向量索引?

pg_clickhouse 会检测 ClickHouse 表上是否使用了 vector_similarity 索引(如 HNSW),并在 EXPLAIN 输出中显示“Vector Index”和“Vector Index Not Used”信息。如果存在与查询运算符对应的相似度函数索引(如 L2Distance),则会报告该索引可能被 ClickHouse 执行器使用。

在 pg_clickhouse 0.11.1 中,对 MergeTree 表执行 UPDATE 和 DELETE 需要什么前提条件?

需要先启用 ClickHouse 表的 enable_block_number_column 和 enable_block_offset_column 设置,例如:ALTER TABLE items MODIFY SETTING enable_block_number_column = 1, enable_block_offset_column = 1; 之后即可执行 UPDATE 和 DELETE,它们会被下推为轻量级更新或删除。

pg_clickhouse 0.11.1 如何处理聚合函数返回 NULL 的情况?

pg_clickhouse 现在将 sum、avg、min 等聚合函数下推为 sumOrNull、avgOrNull、minOrNull 等,当没有聚合值时返回 NULL 而不是 ClickHouse 的默认值(如 0),从而与 PostgreSQL 行为保持一致。

pg_clickhouse 0.11.1 对无约束 NUMERIC 类型做了哪些改进?

对于无约束的 numeric 列,pg_clickhouse 现在使用 ClickHouse 最大精度的 Decimal(76, 38),并对更长的值报错。同时,它还会正确去除此类值的尾随零,这一改进来自社区贡献。

🏷️

标签

➡️

继续阅读