Qwen 3.8 27B YaRN 768K 上下文实测

Qwen 3.8 27B YaRN 768K 上下文实测

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

文章实测Qwen 3.8 27B模型通过YaRN技术扩展上下文长度,发现实际可从265K扩展至768K,而非宣传的1M,原因是1M时KV Cache需84GB显存,超出128GB机器可用内存约3GB。作者计划进一步测试768K上下文在实际编程中的表现。

🏷️

标签

➡️

继续阅读