![每家大语言模型公司都在挑战搜索技术：未来的大语言模型检索系统展望 [译]](https://baoyu.io/api/og?heading=%E6%AF%8F%E5%AE%B6%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%85%AC%E5%8F%B8%E9%83%BD%E5%9C%A8%E6%8C%91%E6%88%98%E6%90%9C%E7%B4%A2%E6%8A%80%E6%9C%AF%EF%BC%9A%E6%9C%AA%E6%9D%A5%E7%9A%84%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%A3%80%E7%B4%A2%E7%B3%BB%E7%BB%9F%E5%B1%95%E6%9C%9B+%5B%E8%AF%91%5D&summary=%E6%90%9C%E7%B4%A2%E6%8A%80%E6%9C%AF%E6%98%AF%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A7%91%E5%AD%A6%E4%B8%AD%E6%9E%81%E5%85%B7%E6%8C%91%E6%88%98%E6%80%A7%E7%9A%84%E9%A2%86%E5%9F%9F%E4%B9%8B%E4%B8%80%EF%BC%8C%E4%BB%85%E6%9C%89%E5%B0%91%E6%95%B0%E4%BA%A7%E5%93%81%E5%A6%82+Google%E3%80%81Amazon+%E5%92%8C+Instagram+%E8%83%BD%E5%A4%9F%E5%81%9A%E5%88%B0%E5%87%BA%E8%89%B2%E3%80%82%E7%9B%B4%E8%87%B3%E4%B8%8D%E4%B9%85%E5%89%8D%EF%BC%8C%E5%A4%A7%E5%A4%9A%E6%95%B0%E4%BA%A7%E5%93%81%E5%B9%B6%E4%B8%8D%E4%BE%9D%E8%B5%96%E9%AB%98%E6%95%88%E7%9A%84%E6%90%9C%E7%B4%A2%E5%8A%9F%E8%83%BD%E2%80%94%E2%80%94%E5%AE%83%E5%B9%B6%E9%9D%9E%E7%94%A8%E6%88%B7%E4%BD%93%E9%AA%8C%E7%9A%84%E5%85%B3%E9%94%AE%E9%83%A8%E5%88%86%E3%80%82%E7%84%B6%E8%80%8C%EF%BC%8C%E9%9A%8F%E7%9D%80%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%8F%8A%E5%85%B6%E6%A3%80%E7%B4%A2%E7%B3%BB%E7%BB%9F%E7%9A%84%E8%BF%85%E7%8C%9B%E5%8F%91%E5%B1%95%EF%BC%8C%E6%AF%8F%E4%B8%AA%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%85%AC%E5%8F%B8%E9%83%BD%E8%BF%AB%E5%88%87%E9%9C%80%E8%A6%81%E5%B0%86%E9%A1%B6%E5%B0%96%E7%9A%84%E6%90%9C%E7%B4%A2%E5%8A%9F%E8%83%BD%E8%9E%8D%E5%85%A5%E4%BA%A7%E5%93%81%E4%B8%AD%EF%BC%8C%E4%BB%A5%E7%A1%AE%E4%BF%9D%E5%85%B6%E6%AD%A3%E5%B8%B8%E8%BF%90%E4%BD%9C%E3%80%82%E9%9D%A2%E5%AF%B9%E8%BF%99%E7%A7%8D%E6%96%B0%E5%85%B4%E7%9A%84%E9%9C%80%E6%B1%82%EF%BC%8C%E6%96%B0%E4%B8%80%E4%BB%A3+AI+%E5%85%AC%E5%8F%B8%E5%B0%86%E5%A6%82%E4%BD%95%E8%A7%A3%E5%86%B3%E6%90%9C%E7%B4%A2%E9%97%AE%E9%A2%98%EF%BC%9F%E6%A3%80%E7%B4%A2%E5%8A%9F%E8%83%BD%E6%98%AF%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%B3%BB%E7%BB%9F%E4%B8%8D%E5%8F%AF%E6%88%96%E7%BC%BA%E7%9A%84%E7%BB%84%E6%88%90%E9%83%A8%E5%88%86%EF%BC%8C%E8%BF%99%E4%B8%80%E7%82%B9%E6%9C%AA%E6%9D%A5%E4%B9%9F%E4%B8%8D%E4%BC%9A%E6%94%B9%E5%8F%98%E3%80%82&type=Translations&mode=light)
每家大语言模型公司都在挑战搜索技术：未来的大语言模型检索系统展望 [译]
内容提要
搜索技术是计算机科学中的挑战领域之一，大语言模型公司需要将顶尖的搜索功能融入产品中。检索增强生成系统为大语言模型提供必要信息，帮助回答问题。搜索的真正目的是提供最佳结果，检索系统将提升大语言模型的应用效能。基础设施服务商可能扩大服务范围，企业可能开发针对特定场景的“检索即服务”产品。
延伸解读
语义相似度搜索的局限
文章指出，基于语义相似度的搜索虽然易于构建，但常只能提供平庸结果。它可能遗漏语义不同却重要的内容，对嵌入模型和数据处理方式敏感，且计算嵌入耗费资源，限制实时数据应用。因此，仅靠语义相似度不足以实现优质搜索。
长上下文窗口为何不取代检索
即使大语言模型支持超长上下文窗口，检索功能仍不可或缺。文章解释，公司可能拥有多个相似文档版本，一次性呈现会导致信息冲突；复杂应用需要基于角色和环境的访问控制；处理大量不必要数据也会带来额外时间和成本。
检索系统的未来演进方向
文章认为，检索系统将从简单语义相似度搜索演变为类似搜索或推荐系统的复杂系统，核心是从大量选项中筛选最可能实现目标的少数选项。这些系统将提升大语言模型的有效记忆力、响应质量、可靠性和速度，甚至比模型本身更能增强应用核心能力。
构建新型检索系统所需的工具
为构建未来检索系统，需要更完善的工具：创建和操作多种向量以编码不同信号；输入、解析和处理各类数据；实时执行检索系统，尤其要降低生成嵌入向量的高成本与延迟；以及对系统进行观测和监控。目前投资多集中于向量数据库，但数据库仅是解决方案的一部分。
Q&A
大语言模型公司为什么需要整合搜索功能？
大语言模型公司需要整合搜索功能以确保其产品正常运作，并提升应用效能。
检索增强生成系统（RAG）如何帮助大语言模型？
RAG系统为大语言模型提供必要的信息，确保生成的内容真实且贴切。
语义相似度搜索方法有哪些局限性？
语义相似度搜索可能遗漏重要内容，对查询的上下文敏感，并且处理不同类型数据复杂。
未来的检索系统将如何演变？
未来的检索系统将演变为更复杂的搜索或推荐系统，提升大语言模型的核心能力。
检索系统对大语言模型的应用效能有何影响？
检索系统将提升大语言模型的有效记忆力、响应质量和性能，可能成为核心竞争力。
公司如何利用检索系统作为竞争优势？
公司可能会将检索系统作为核心竞争力进行内部开发，以满足特定应用需求。
