量子位
·
Qwen2.5更新百万超长上下文，推理速度4.3倍加速，网友：RAG要过时了
💡
原文中文，约2300字，阅读约需6分钟。
📝
内容提要
Qwen2.5-Turbo更新了百万token的上下文支持，推理速度提升4.3倍，能够快速处理长文本和代码，性能超越GPT-4o-mini，性价比高，受到广泛关注。
🎯
关键要点
- Qwen2.5-Turbo更新了百万token的上下文支持，推理速度提升4.3倍。
- Qwen2.5-Turbo能够快速处理长文本和代码，性能超越GPT-4o-mini。
- 上下文长度从128k扩展到1M，相当于100万个英文单词或150万个汉字。
- 处理百万上下文时，首字返回时间从4.9分钟降低到68秒。
- Qwen2.5-Turbo的成本为0.3元/1M tokens，性价比高。
- Qwen2.5-Turbo在长文本任务中表现优异，RULER基准测试得分93.1分。
- 在短文本任务上，Qwen2.5-Turbo的能力不逊色于其他模型。
- Qwen2.5-Turbo的推理速度通过稀疏注意力机制实现了3.2-4.3倍的加速。
- 目前Qwen2.5-Turbo的Demo可在HuggingFace和魔搭社区体验，API服务已上线阿里云大模型服务平台。
- 模型权重尚未开源，但正在努力中。
❓
延伸问答
Qwen2.5-Turbo的上下文支持有多长？
Qwen2.5-Turbo支持的上下文长度为100万个token，相当于150万个汉字。
Qwen2.5-Turbo的推理速度提升了多少？
Qwen2.5-Turbo的推理速度提升了4.3倍。
Qwen2.5-Turbo的成本是多少？
Qwen2.5-Turbo的成本为0.3元/1M tokens。
Qwen2.5-Turbo在长文本任务中的表现如何？
Qwen2.5-Turbo在长文本任务中表现优异，RULER基准测试得分93.1分。
Qwen2.5-Turbo如何处理短文本任务？
Qwen2.5-Turbo在短文本任务上表现不逊色于其他模型，且能处理更长的上下文。
Qwen2.5-Turbo的Demo在哪里可以体验？
Qwen2.5-Turbo的Demo可以在HuggingFace和魔搭社区体验。
➡️
