乔纳森·卡茨：pgvector的分布式查询
内容提要
本文讨论了如何使用pgvector在PostgreSQL中运行分布式查询。它探讨了使用分区和外部数据包装器将数据分割和分布到多个实例的方法。文章提供了示例和测试来证明分布式pgvector查询的可行性和性能。文章得出结论，当单个实例不足时，将工作负载分布到多个数据库可以是可扩展的解决方案。然而，在简化和扩展pgvector跨多个可写实例方面仍有改进空间。
延伸解读
分布式查询的适用场景
当单个实例无法将整个向量数据集保存在内存中时，分布式查询成为可扩展的解决方案。文章指出，查询向量数据的性能通常受内存限制，保持更多数据在内存中可以加快查询速度。如果单实例内存不足，将工作负载分布到多个数据库可以缓解内存压力，但需要权衡网络延迟和查询性能。
分区与外部数据包装器的结合
通过PostgreSQL的分区功能（范围、列表、哈希）和postgres_fdw，可以将数据分割并分布到多个实例。每个分区可以构建独立的pgvector索引，实现查询预过滤。在头节点上创建分区表，每个分区作为外部表指向远程节点，从而运行分布式向量查询。
召回率与查询性能的权衡
实验显示，在较低的hnsw.ef_search值下，2节点系统的召回率比单节点系统提高最多15%。然而，由于网络延迟和串行执行外部扫描，2节点系统的QPS通常低于单节点。当单节点内存受限时，性能差异会缩小，甚至在某些情况下相当。
当前限制与改进方向
文章指出，PostgreSQL目前不支持在“Merge Append”节点上执行异步外部扫描，导致K-NN排序等操作串行执行，可能影响多节点性能。此外，会话参数（如hnsw.ef_search）无法自动下推到远程节点，需要手动设置。这些限制表明，pgvector在跨多个可写实例的简化和扩展方面仍有改进空间。
Q&A
pgvector在PostgreSQL中如何实现分布式查询？
pgvector可以通过分区和外部数据包装器（FDWs）在PostgreSQL中实现分布式查询。
使用pgvector进行分布式查询时，性能受哪些因素影响？
性能通常受内存限制和网络延迟的影响，保持更多数据在内存中可以加快查询速度。
PostgreSQL支持哪些类型的分区？
PostgreSQL支持范围分区、列表分区和哈希分区，适用于不同的数据分割需求。
在分布式pgvector查询中，如何处理远程数据源？
可以使用外部数据包装器（如postgres_fdw）来处理远程数据源，允许在多个PostgreSQL实例间运行查询。
分布式pgvector查询的实验结果如何？
实验显示可以成功运行分布式查询，并且在某些情况下提高了召回率，但性能可能受到网络延迟的影响。
在使用pgvector时，如何优化查询性能？
可以在每个分区上构建单独的索引，以实现查询的预过滤，从而优化查询性能。
