DEV Community
·
RAG并未消亡：为何GPT-4.1的100万上下文窗口不会扼杀检索增强生成
💡
原文英文，约400词，阅读约需2分钟。
📝
内容提要
OpenAI的GPT-4.1和Google的Gemini 2.5引发了对检索增强生成（RAG）的讨论。尽管大规模上下文窗口看似理想，但在实际应用中仍面临成本、延迟和规模等问题。RAG在数据追溯和处理复杂任务方面依然重要，未来将继续是企业的主要选择。
🎯
关键要点
- OpenAI发布了GPT-4.1，具有1M的上下文窗口和高准确性，Google的Gemini 2.5也在推广类似的功能。
- 尽管大规模上下文窗口看似理想，但在实际应用中面临成本、延迟和规模等问题。
- 典型的RAG查询约为1K个token，使用1M个token会导致成本激增1000倍。
- 现代AI应用不仅仅是单次问答，而是多步骤的工作流程，这会进一步增加成本和延迟。
- 大型语言模型仍然无法原生引用来源，RAG提供了可追溯性，这是企业和科学应用中不可或缺的。
- 1M个token相当于20本书，对于拥有数十亿token数据的客户来说，这仍然是微不足道的。
- RAG在处理非平凡数据的用例中仍然是唯一的选择，尽管上下文窗口会继续增长，但RAG在可预见的未来仍然至关重要。
❓
延伸问答
GPT-4.1的上下文窗口有多大？
GPT-4.1的上下文窗口为100万token。
RAG在现代AI应用中有什么重要性？
RAG在数据追溯和处理复杂任务方面仍然重要，是企业和科学应用中不可或缺的。
使用1M个token的成本和延迟问题是什么？
使用1M个token的查询成本会激增1000倍，处理时间也会显著增加，影响实际应用。
RAG是否会被新的上下文窗口技术取代？
目前RAG仍然是处理非平凡数据的唯一选择，尽管上下文窗口会继续增长。
大型语言模型在引用来源方面有什么局限性？
大型语言模型仍然无法原生引用来源，而RAG提供了必要的可追溯性。
RAG的查询通常有多少个token？
典型的RAG查询约为1000个token。
➡️
