作者将Qwen 3.8 27B模型调优至极限,对比124与104两组配置的端到端吞吐(均含TTFT),五项中位数全部由124领先,TTFT也明显改善,并称错过算力舱就错过全球最快Qwen 3.8 27B。
用户偏好Qwen 3.8 27B,认为其在明确任务下执行精准稳定,虽不如GPT全能。因Qwen 3.8 Flash Next训练不严谨、长上下文易乱码而弃用。用户采用GPT规划、27B执行的组合,并用Pi Agent配27B修复博客视频问题,效率很高。
AI模型移植测试显示,Qwen 3.8 Flash Next在265K上下文时解码最快,Qwen 3.8 27B在512K上下文时解码最快,建议将上下文调至最优值。
本文分析了AI模型Qwen 3.8 27B的性能,指出其速度比GPT 5.6快5倍以上,且分析结论严密。作者与英伟达芯片架构师交流后认为,30B稠密模型足以满足个人编码需求,未来无需高显存带宽的昂贵机器,因为AI模型会进化。作者推测,即使GPT后台集群强大,分配到每个用户的算力可能也仅相当于30B资源。
优化Qwen 3.8 27B模型时发现,这类重思考的稠密模型适合算力舱(2070T),Prefill速度达3500-4000 TPS,因模型70%-80%时间在思考,Prefill性能关键。Mac Studio虽显存带宽大,但Prefill能力弱,不适合重思考模型,更适合轻思考模型。选硬件需匹配模型推理范式。
文章实测Qwen 3.8 27B模型通过YaRN技术扩展上下文长度,发现实际可从265K扩展至768K,而非宣传的1M,原因是1M时KV Cache需84GB显存,超出128GB机器可用内存约3GB。作者计划进一步测试768K上下文在实际编程中的表现。
该文章介绍通过YaRN技术将Qwen 3.8 27B模型的上下文长度从786K提升至900K,接近1M,可支持99%的大型代码项目,避免因上下文不足导致的性能下降。模型占用120GB显存,在懒猫AI算力舱上运行速度快且稳定。
懒猫AI算力仓单台运行Qwen 3.8 27B模型,创下性能纪录:prefill速度3754 TPS,长代码解码125 TPS,八会话解码231 TPS,显存占用70GB。该模型为稠密型,专注写代码,单台可跑且不降智,相比Mac Studio,英伟达芯片prefill和并发性能更强,兼容CUDA,价格更优,现推出优惠促销。
作者在懒猫AI算力舱X5上部署Qwen 3.8 27B模型,通过真实项目测试,发现其性能良好。经MTP投机解码和NVFP8优化,速度从13.9提升至30.8 Tokens,但关闭思考模式会降低代码推理准确度。开启思考模式后,实际速度稳定在26.47 Tokens,若计入思考阶段,可达35.23 Tokens/s。未来计划进一步优化draft engine以提升速度。
Qwen 3.8 27B在编程任务中表现惊艳,能一次修复多个bug,并仅凭需求描述自主分析代码关系。尽管思考时间较长,但结果出色,优化速度后可作为主力编程模型,全离线AI编程能力强大。
完成下面两步后,将自动完成登录并继续当前操作。