在Heroku上构建AI搜索
💡
原文英文，约700词，阅读约需3分钟。
📝
内容提要
构建RAG系统时，向量搜索可能返回许多相似文档，但只有少数能回答用户问题。为提高准确性，需要引入二次排序模型来评估文档与查询的相关性。该架构利用Heroku服务，实现高效的文档检索和答案生成，确保搜索结果满足用户需求。
🎯
关键要点
- 构建RAG系统时，向量搜索可能返回许多相似文档，但只有少数能回答用户问题。
- 需要引入二次排序模型来评估文档与查询的相关性。
- 该架构利用Heroku服务，实现高效的文档检索和答案生成。
- 向量嵌入是高维空间中的坐标，语义接近性并不总是代表准确性。
- 系统由两个主要管道组成：索引管道和查询管道。
- Heroku服务用于文本转向量、文档相关性评分和生成答案。
- 文档抓取需要避免提取无关内容，使用简单启发式检测垃圾内容。
- 文档按自然边界分块，以避免丢失意义。
- 检索分为两个阶段：向量搜索和语义重排序。
- 使用服务器推送事件（SSE）来流式传输进度，提升用户体验。
- 从演示到生产级RAG系统需要弥补相似性与相关性之间的差距。
➡️
