Vibhor Kumar:相关性不等于权限:PostgreSQL 中的过滤优先向量检索

Vibhor Kumar:相关性不等于权限:PostgreSQL 中的过滤优先向量检索

💡 原文英文,约4800词,阅读约需18分钟。
📝

内容提要

文章指出向量检索只解决相关性而不解决权限,敏感数据可能因检索而泄露。作者主张在PostgreSQL中用行级安全(RLS)将权限写入数据表,并让检索函数以调用者权限执行;同时开启pgvector迭代扫描,避免安全过滤导致结果过少;用分区和部分索引建立硬边界;再通过正负测试和检索追踪记录验证代理实际可见的内容。

🔎

延伸解读

权限必须内建于数据,而非调用方习惯

文章指出,多数 RAG 管道把权限放在应用层或查询里,这依赖调用者自觉。当 AI 代理能自主查询时,调用者不再是可代码审查的开发者。RLS 将“谁能看哪行”变成数据库保证,任何查询(包括向量相似度查询)都会自动附加策略。关键细节:用 FORCE ROW LEVEL SECURITY 防止表所有者绕过,用 NULLIF 处理空设置避免报错,并用 SECURITY INVOKER 函数确保策略始终生效。

安全过滤可能悄悄饿死检索结果

HNSW 等近似索引默认只扫描一次候选集,再应用 RLS 过滤。若最近邻多属其他租户,LIMIT 10 可能只返回 1 行甚至 0 行,且不报错。文章演示:租户 42 仅占 2% 数据,关闭迭代扫描时 10 条请求只返回 1 条。pgvector 0.8.0 的迭代扫描可继续扫描直到满足 LIMIT,但需注意 relaxed_order 会轻微打乱顺序,且函数内 LIMIT 参数可能导致计划器选择不同路径,需用 auto_explain 检查实际计划。

硬边界靠物理布局,而非仅靠过滤

RLS 适合细粒度规则,但有些边界必须物理隔离:租户 A 绝不能与 B 共享索引,或受监管记录必须独立。文章建议按租户列表分区,每个分区有自己的 HNSW 索引,其他租户向量根本不会被扫描。对小型租户,B-tree 加精确扫描可能比近似索引更快且召回完美。对稳定的敏感级别,可建部分索引,使候选集天然合规。规则是:RLS 管“谁能看行”,物理布局管“什么绝不能相遇”。

用正负测试和检索追踪证明代理可见范围

事后说“我们有 RLS”不够。文章主张以 ai_agent 角色编写负向测试:嵌入已知受限块,从无权租户或角色搜索,断言零结果;同时配正向测试,确保有权角色能检索到,避免检索损坏时测试仍通过。还应将每次请求检索到的块 ID、身份、租户和角色记录到 retrieval_trace 表,与请求同事务写入,以便回放证据集。这些检查应放入 CI,策略放宽应导致构建失败而非事后复盘。

❓

Q&A

为什么说向量检索只解决相关性而不解决权限问题?

因为嵌入向量只捕捉文本块的含义,不包含谁拥有该块、属于哪个租户或受何种法规约束等信息。两个内容相似的段落(如公开FAQ和机密董事会备忘录)在向量空间中可能相邻,检索时只按语义相似度返回结果,不会检查调用者是否有权查看。

在PostgreSQL中如何用行级安全(RLS)为向量检索添加权限控制?

在数据表中添加租户ID、敏感级别、允许角色等权限元数据,启用并强制RLS,创建策略使用current_setting读取会话变量(如app.tenant_id和app.user_roles),并让检索函数以SECURITY INVOKER执行,确保每次查询都自动附加策略。

开启RLS后,为什么向量检索返回的结果会变少甚至为空?如何解决?

因为HNSW等近似索引先扫描候选集,再应用RLS过滤,如果多数最近邻属于其他租户或角色,LIMIT 10可能只返回1行或0行。解决方案是启用pgvector 0.8.0+的迭代索引扫描(设置hnsw.iterative_scan = relaxed_order),让索引持续扫描直到满足LIMIT或达到安全上限。

对于必须严格隔离的租户或敏感数据,除了RLS还有哪些物理隔离手段?

可以使用分区(如按租户列表分区,每个分区有自己的HNSW索引)和部分索引(如为sensitivity='public'建立部分HNSW索引)。这样其他租户或不符合条件的向量根本不会被扫描,而不是事后过滤。RLS仍可作为安全网保留。

如何验证AI代理实际能检索到哪些内容?需要做哪些测试和记录?

编写正负测试:以ai_agent角色运行,负测试确认受限内容(如HR专属块)对无权限角色不可见,正测试确认有权限角色能检索到。同时创建retrieval_trace表,在服务请求的同一事务中记录检索到的chunk ID、身份、租户和角色,作为审计证据。

pgvector的迭代扫描中relaxed_order和strict_order有什么区别?

strict_order保持结果严格按距离排序;relaxed_order允许轻微重排序以换取更好的召回率。如果需要精确顺序,可以先用relaxed_order物化结果,再在外层重新排序。

🏷️

标签

➡️

继续阅读