量子位
·
阿里通义发布并行计算新策略：1.6B等效4.4B，内存消耗骤降95%
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
阿里通义推出PARSCALE新策略，使1.6B模型性能接近4.4B，内存占用仅为1/22，延迟增加1/6。该方法通过并行计算和动态聚合权重，显著提升模型能力，训练成本降低98%。
🎯
关键要点
- 阿里通义推出PARSCALE新策略，使1.6B模型性能接近4.4B模型，内存占用仅为1/22，延迟增加1/6。
- PARSCALE通过并行计算和动态聚合权重，显著提升模型能力，训练成本降低98%。
- 该方法可直接应用于现有模型，无需从头训练。
- PARSCALE灵感来源于CFG双路径推理机制，将并行思想扩展为训练和推理全流程的计算缩放。
- PARSCALE通过可学习的多路径输入变换和动态加权聚合，提升模型决策的多样性和准确性。
- 在GSM8K数学推理任务中，P=8使1.8B模型性能提升34%，显著高于参数扩展的增益。
- 两阶段训练策略使得少量数据即可激活并行路径的有效性，且训练成本降低约98%。
- PEFT方法在Qwen-2.5-3B模型上调整前缀和聚合权重，提升代码生成任务的性能。
❓
延伸问答
PARSCALE新策略的主要优势是什么？
PARSCALE新策略使1.6B模型性能接近4.4B模型，内存占用仅为1/22，训练成本降低98%。
PARSCALE是如何实现并行计算的？
PARSCALE通过可学习的多路径输入变换和动态加权聚合，实现了并行前向传播和计算缩放。
PARSCALE对现有模型的适配性如何？
PARSCALE可以直接应用于现有模型，无需从头训练，适配性强。
PARSCALE在GSM8K任务中的表现如何？
在GSM8K任务中，P=8使1.8B模型性能提升34%，显著高于参数扩展的增益。
PARSCALE的灵感来源于什么？
PARSCALE的灵感来源于CFG双路径推理机制，将并行思想扩展为训练和推理全流程的计算缩放。
PARSCALE的训练策略是怎样的？
PARSCALE采用两阶段训练策略，第一阶段预训练模型，第二阶段冻结主体参数，仅训练前缀嵌入和聚合权重。
➡️
