AiSAQ:全存储 ANNS 与产品量化用于无 DRAM 信息检索
原文中文,约300字,阅读约需1分钟。发表于: 。本文提出了一种名为 All-in-Storage ANNS with Product Quantization (AiSAQ) 的方法,通过将压缩向量转移到存储器中,可以在十亿级别的数据集中实现约 10MB 的内存使用,同时还能减少查询之前的索引加载时间,增强检索辅助生成(RAG)的灵活性。该方法适用于所有基于图的近似最近邻搜索算法,未来还可以与更高规格的近似最近邻搜索方法相结合。
本文介绍了一种基于Matryoshka Representations的ANNS设计框架-AdANNS,通过使用不同容量的自适应表示,实现准确性和计算效率的平衡。AdANNS在图像检索和自然问题上相比刚性表示具有更好的准确性和更低的成本。