用户反馈 Qwen 3.8 Flash Next 未审查版长上下文出现多语言乱码。排查发现,BF16 舍入误差随生成累积,FP4/FP8 lm_head 扰动概率排序,导致语言混杂。修复方法:GDN 循环状态恢复 FP32,lm_head 使用原生 BF16,主体仍为 NVFP4。修复后连续生成约 1.1 万 tokens 无漂移,但显存增加、速度下降。建议日常使用官方原版量化,破甲版仅供研究。
AI模型移植测试显示,Qwen 3.8 Flash Next在265K上下文时解码最快,Qwen 3.8 27B在512K上下文时解码最快,建议将上下文调至最优值。
Qwen 3.8 Flash Next经优化后,单台算力舱解码速度从23 TPS提升至102 TPS,创世界纪录。18K预填充达2588 TPS,30K首字延迟11.43秒。其T5000芯片FP4算力2070T,远超DGX G10的1000T,单台性能相当于两台DGX G10组合,性价比极高。
单台懒猫AI算力舱优化Qwen 3.8 Flash Next,Decode达100-102 TPS,Prefill 2070-2609 TPS,TTFT 5K 1.9s。通过YaRN技术将KV Cache调至16GB,上下文从265K扩展至320K,性能几乎不变,Edit Decode反升。72小时调优后,将部署图形化程序供用户使用。相比两台DGX GB10,算力舱因FP4算力翻倍、显存直连更快,单台即可实现100+ TPS。
完成下面两步后,将自动完成登录并继续当前操作。