内容提要
pg_clickhouse v0.11.1 发布,虽为小版本但改进显著:新增 pgvector 类型映射,可将 ClickHouse 的 Array(Float32/64) 列映射为 PostgreSQL vector 列,并支持下推 pgvector 距离运算符(L2、L1、余弦距离)及向量索引检测;同时支持 MergeTree 表的 UPDATE、DELETE、TRUNCATE 下推,以及线性回归聚合函数、聚合返回 NULL、JSONB 下标、时区和无约束 NUMERIC 的下推优化。
延伸解读
向量检索下推的实际意义
pg_clickhouse 0.11.1 将 pgvector 的距离运算符(<->、<+>、<=> 等)下推到 ClickHouse 的 L2Distance、L1Distance、cosineDistance 等函数,并在 EXPLAIN 中显示是否使用了向量索引。这意味着在 PostgreSQL 中写的向量相似度查询,可以借助 ClickHouse 的向量索引执行,而不是把全部数据拉到 PostgreSQL 再计算。对于已经在 ClickHouse 中存储向量数据的场景,这能减少数据传输和重复计算。
UPDATE/DELETE 下推的适用边界
新版本支持将 UPDATE、DELETE、TRUNCATE 下推到 MergeTree 表,但 UPDATE 需要先启用 enable_block_number_column 和 enable_block_offset_column 设置。文章特别提醒,ClickHouse 的轻量级更新适合少量行(约不超过表的 10%),而 PostgreSQL 的 UPDATE/DELETE 可以不带 WHERE,pg_clickhouse 会补上 WHERE true 以匹配 PostgreSQL 行为。因此在大表上执行无 W
聚合与类型兼容性的细节改进
该版本还修复了聚合返回 NULL 的行为:当聚合没有输入值时,下推 sumOrNull、avgOrNull、minOrNull 等,而不是返回 ClickHouse 默认值(如 0),从而与 PostgreSQL 保持一致。此外,线性回归聚合函数在 ClickHouse 26.9 及以上版本可下推;无约束 NUMERIC 使用 Decimal(76, 38) 并会修剪尾随零;JSONB 下标和时区设置也得到下推支持。这些改进减少了跨库查询时的结果差异。
Q&A
pg_clickhouse 0.11.1 如何将 ClickHouse 的数组列映射为 PostgreSQL 的 vector 类型?
需要使用显式的 CREATE FOREIGN TABLE 语句,将 ClickHouse 的 Array(Float32) 或 Array(Float64) 列映射为 PostgreSQL 的 vector 列,而不是通过 IMPORT FOREIGN SCHEMA。例如:CREATE FOREIGN TABLE items (id int NOT NULL, category text NOT NULL, v vector(4) NOT NULL) SERVER ch_server;
pg_clickhouse 0.11.1 支持哪些 pgvector 距离运算符的下推?
支持的下推运算符包括:=、<>、<->(L2 距离,对应 L2Distance)、<+>(L1 距离,对应 L1Distance)、<=>(余弦距离,对应 cosineDistance)、<#>(负内积,对应 dotProduct),以及 inner_product() 和 vector_dims() 函数。
pg_clickhouse 如何检测并利用 ClickHouse 的向量索引?
pg_clickhouse 会检测 ClickHouse 表上是否使用了 vector_similarity 索引(如 HNSW),并在 EXPLAIN 输出中显示“Vector Index”和“Vector Index Not Used”信息。如果存在与查询运算符对应的相似度函数索引(如 L2Distance),则会报告该索引可能被 ClickHouse 执行器使用。
在 pg_clickhouse 0.11.1 中,对 MergeTree 表执行 UPDATE 和 DELETE 需要什么前提条件?
需要先启用 ClickHouse 表的 enable_block_number_column 和 enable_block_offset_column 设置,例如:ALTER TABLE items MODIFY SETTING enable_block_number_column = 1, enable_block_offset_column = 1; 之后即可执行 UPDATE 和 DELETE,它们会被下推为轻量级更新或删除。
pg_clickhouse 0.11.1 如何处理聚合函数返回 NULL 的情况?
pg_clickhouse 现在将 sum、avg、min 等聚合函数下推为 sumOrNull、avgOrNull、minOrNull 等,当没有聚合值时返回 NULL 而不是 ClickHouse 的默认值(如 0),从而与 PostgreSQL 行为保持一致。
pg_clickhouse 0.11.1 对无约束 NUMERIC 类型做了哪些改进?
对于无约束的 numeric 列,pg_clickhouse 现在使用 ClickHouse 最大精度的 Decimal(76, 38),并对更长的值报错。同时,它还会正确去除此类值的尾随零,这一改进来自社区贡献。