大模型“长上下文”将取代RAG吗？

该推文讨论了长上下文模型与RAG模型的优劣势。长上下文模型在解码过程中可以同时混合检索和推理，而RAG只在最开始时进行检索。长上下文模型虽然只支持100万上下文，而RAG支持万亿级别的上下文，但作者认为绝大多数情况下都不需要超过100万上下文的检索。长上下文模型可以使用缓存，而RAG需要重新输入整个文档。作者对长上下文模型的未来发展持乐观态度。