少数派
·
当 AI 拥有 200 万字的记忆：体验 Kimi 智能助手长上下文支持
💡
原文中文，约6000字，阅读约需15分钟。
📝
内容提要
本文介绍了大语言模型的上下文窗口对于模型记忆容量的重要性，并列举了几个厂商的模型在上下文窗口方面的进展。月之暗面宣布将其智能助手Kimi的上下文窗口从20万字提高到200万字，并进行了测试和体验。Kimi在市场分析、辅助编程和内容管理等方面的应用表现良好。文章指出了RAG方案在解决上下文窗口限制方面的作用，并呼吁厂商和媒体在宣传中更加严谨和诚实。
🎯
关键要点
-
上下文窗口是大语言模型的记忆容量，影响模型的理解和生成能力。
-
大语言模型的上下文窗口在过去两年中取得了显著进展，厂商之间竞争激烈。
-
月之暗面将Kimi的上下文窗口从20万字提高到200万字，进行内测并获得积极反馈。
-
Kimi团队认为长上下文是通用人工智能的重要基础技术，能够拓展AI应用场景。
-
Kimi没有使用大海捞针测试，而是通过具体场景评估其长上下文能力。
-
Kimi在市场分析和辅助编程方面表现良好，但在某些细节上仍有不足。
-
Kimi的长上下文能力为内容管理提供了新的可能性，但在主题提炼和标签生成上仍需改进。
-
Kimi的长上下文支持对算力资源提出了更高要求，团队正在解决推理成本问题。
-
其他国内模型厂商也在跟进长上下文支持，但宣传中存在技术细节缺失的问题。
-
RAG方案可以绕过上下文窗口的限制，提高生成速度和降低成本，但准确性和完整性相对较弱。
-
厂商和媒体在宣传技术时应更加严谨和诚实，以促进AI服务的普及和良性竞争。
➡️
