量子位
·
阿里通义发布并行计算新策略：1.6B等效4.4B，内存消耗骤降95%
内容提要
阿里通义推出PARSCALE新策略，使1.6B模型性能接近4.4B，内存占用仅为1/22，延迟增加1/6。该方法通过并行计算和动态聚合权重，显著提升模型能力，训练成本降低98%。
关键要点
-
阿里通义推出PARSCALE新策略，使1.6B模型性能接近4.4B模型，内存占用仅为1/22，延迟增加1/6。
-
PARSCALE通过并行计算和动态聚合权重，显著提升模型能力，训练成本降低98%。
-
该方法可直接应用于现有模型，无需从头训练。
-
PARSCALE灵感来源于CFG双路径推理机制，将并行思想扩展为训练和推理全流程的计算缩放。
-
PARSCALE通过可学习的多路径输入变换和动态加权聚合，提升模型决策的多样性和准确性。
-
在GSM8K数学推理任务中，P=8使1.8B模型性能提升34%，显著高于参数扩展的增益。
-
两阶段训练策略使得少量数据即可激活并行路径的有效性，且训练成本降低约98%。
-
PEFT方法在Qwen-2.5-3B模型上调整前缀和聚合权重，提升代码生成任务的性能。
延伸解读
PARSCALE的技术优势
PARSCALE策略通过并行计算和动态聚合权重，显著提升了模型的性能和效率。与传统的参数扩展方法相比，PARSCALE在内存占用和延迟方面表现更优，尤其适合资源受限的环境。
适用性与灵活性
PARSCALE可以直接应用于现有模型，无需从头训练，这为开发者提供了更大的灵活性。通过调整前缀和聚合权重，用户能够在不同任务中快速适应，降低了训练成本和时间。
训练策略的创新
PARSCALE采用两阶段训练策略，第一阶段使用传统方法预训练，第二阶段仅微调少量参数。这种方法不仅提高了训练效率，还证明了在少量数据下激活并行路径的有效性，具有重要的实用价值。
延伸问答
PARSCALE新策略的主要优势是什么？
PARSCALE新策略使1.6B模型性能接近4.4B模型，内存占用仅为1/22，训练成本降低98%。
PARSCALE是如何实现并行计算的？
PARSCALE通过可学习的多路径输入变换和动态加权聚合，实现了并行前向传播和计算缩放。
PARSCALE对现有模型的适配性如何？
PARSCALE可以直接应用于现有模型，无需从头训练，适配性强。
PARSCALE在GSM8K任务中的表现如何？
在GSM8K任务中，P=8使1.8B模型性能提升34%，显著高于参数扩展的增益。
PARSCALE的灵感来源于什么？
PARSCALE的灵感来源于CFG双路径推理机制，将并行思想扩展为训练和推理全流程的计算缩放。
PARSCALE的训练策略是怎样的？
PARSCALE采用两阶段训练策略，第一阶段预训练模型，第二阶段冻结主体参数，仅训练前缀嵌入和聚合权重。
