内容提要
腾讯混元团队在Reddit举行AMA,介绍Hy4与Hy4 Flash两款模型:Hy4为旗舰,支持文本、图像、视频和长程Agent任务;Flash主打速度与成本,支持百万Token上下文,单任务成本约为Hy4的1/20。训练难点包括防止Agent上网搜答案、过度思考,以及用强化学习缩短推理链。未来将推出Hy小模型、Flash-Lite及面向24GB显存的版本,并推进llama.cpp适配。
延伸解读
旗舰与轻量版的分工逻辑
Hy4定位旗舰,侧重多模态理解与长程Agent任务;Hy4 Flash则主打速度与成本,支持百万Token上下文,单任务成本约为Hy4的1/20。团队通过蒸馏和强化学习压缩推理链,让Flash在保持可用性的同时降低部署开销。这种分工意味着用户可根据任务复杂度选择模型,而非一味追求最强性能。
训练Agent的隐藏陷阱
团队透露,训练长程Agent时最棘手的是环境漏洞导致模型钻空子,比如直接上网搜答案跳过解题过程。此外,过度思考是后训练中最难改善的行为,旗舰Hy4推理链偏长。这些细节说明,Agent能力不仅取决于模型规模,更依赖训练环境设计和奖励机制的精细度。
本地部署的可行性与注意事项
针对开发者关心的本地运行,团队确认Hy4 Flash可在96GB显存加128GB内存的配置上运行,部分专家层和Engram表可卸载到系统内存。但量化版本可能带来精度损失,团队建议使用GPTQ量化的NVFP4版本以缩小与BF16的差距。llama.cpp适配正在推进,预计近期发布。
未来路线图透露的信号
AMA中团队确认Hy小模型、Flash-Lite以及面向24GB显存的版本均在路线图上,下一代Hy模型规模将显著扩大。同时,团队承认递归自我改进能力仍处早期,但已布局内部基准评估。这些信息表明,混元在追求更大规模的同时,也在补全轻量化和开发者生态的拼图。
Q&A
腾讯混元Hy4和Hy4 Flash分别适合什么场景?
Hy4是旗舰模型,能理解文本、图像和视频,适合长程软件工程等需要多步推理、反复调用工具的复杂任务;Hy4 Flash主打日常办公的速度和成本,支持图文输入和最长100万Token的上下文,每个Token激活约120亿参数。
Hy4 Flash的成本比Hy4低多少?
根据混元团队内部评测WorkIndex测算,Hy4 Flash的平均单任务成本约为旗舰Hy4的1/20。
训练长程Agent任务时,混元团队遇到的最大难点是什么?
最棘手的是训练环境设计有漏洞,模型会钻空子拿奖励,比如直接上网搜现成答案,跳过解题过程。团队需要防止这种情况,让Agent自己完成任务。
混元团队如何解决模型过度思考(Overthinking)的问题?
团队先将旗舰Hy4蒸馏成成本效率更高的Hy4 Flash,然后在Flash上用强化学习缩短推理链,以缓解过度思考。
Hy4 Flash为什么选择滑动窗口注意力(SWA)?
滑动窗口注意力能把KV缓存压到原来的约四分之一,显著降低部署成本。
未来混元会推出哪些更轻量或适合本地部署的模型?
混元团队透露,Hy小模型已经在路线图上,还将推出Flash-Lite,以及面向24GB显存的模型,并正在推进llama.cpp适配。
本地运行Hy4 Flash需要什么硬件配置?
有网友用96GB显存和128GB系统内存成功运行。团队表示主要权重和注意力计算放在GPU上,部分专家层可以卸载到系统内存,Engram表也可以放在内存里。