极道
·
大模型“长上下文”将取代RAG吗？
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
该推文讨论了长上下文模型与RAG模型的优劣势。长上下文模型在解码过程中可以同时混合检索和推理，而RAG只在最开始时进行检索。长上下文模型虽然只支持100万上下文，而RAG支持万亿级别的上下文，但作者认为绝大多数情况下都不需要超过100万上下文的检索。长上下文模型可以使用缓存，而RAG需要重新输入整个文档。作者对长上下文模型的未来发展持乐观态度。
🎯
关键要点
-
长上下文模型与RAG模型的优劣势被讨论。
-
长上下文模型在解码过程中可以同时混合检索和推理，而RAG只在最开始时进行检索。
-
长上下文模型支持100万上下文，而RAG支持万亿级别的上下文，但大多数情况下不需要超过100万上下文的检索。
-
长上下文模型虽然成本较高，但作者认为智能模型应优先考虑智能性。
-
长上下文模型可以使用KV缓存，而RAG需要重新输入整个文档。
-
作者对长上下文模型的未来发展持乐观态度，认为速度会逐渐提高。
➡️
