量子位
·
DeepSeek前实习生魔改MoE，用迭代机制把内存需求砍了42%，团队：“免费午餐”优化方法
内容提要
DeepSeek团队推出的CoE（Chain-of-Experts）技术通过迭代机制将内存需求降低17.6%-42%。该技术允许专家在单层内串行通信，提升稀疏MoE模型的性能和资源效率。实验表明，在相同计算预算下，验证损失显著降低，专家组合自由度大幅增加。此技术由Zihan Wang等人提出，旨在优化稀疏神经网络的信息处理。
关键要点
-
DeepSeek团队推出的CoE技术通过迭代机制将内存需求降低17.6%-42%。
-
CoE允许专家在单层内串行通信，提升稀疏MoE模型的性能和资源效率。
-
实验表明，经过2次迭代的CoE在相同计算预算下验证损失显著降低。
-
CoE的专家组合自由度增加了823倍，显示出显著优势。
-
CoE通过在单个层的迭代中将MoE输出反馈为多次迭代的输入来实现。
-
团队使用DeepSeek V2架构验证CoE的有效性，结果显示在性能和资源效率方面具有显著优势。
-
CoE在相似算力和内存要求下，能够显著减少内存需求。
-
独立门控机制和内残差连接是CoE的关键架构创新。
-
CoE由Zihan Wang等5人团队提出，Zihan Wang曾在DeepSeek实习。
延伸解读
CoE技术的创新意义
CoE（Chain-of-Experts）技术通过串行通信和迭代机制，突破了传统MoE模型的内存限制。这种创新不仅提升了稀疏神经网络的性能，还显著降低了内存需求，展示了在资源有限的情况下优化模型的潜力。
内存需求的实用性分析
CoE技术在相同计算预算下，内存需求减少17.6%-42%。这一点对于资源受限的应用场景尤为重要，尤其是在大规模模型训练中，能够有效降低成本和提高效率。
专家组合自由度的提升
CoE的专家组合自由度增加了823倍，这意味着模型在处理复杂任务时能够选择更多的专家进行协作，从而提高了模型的灵活性和适应性。这一特性在多任务学习和动态环境中尤为重要。
延伸问答
CoE技术的主要优势是什么？
CoE技术通过迭代机制将内存需求降低17.6%-42%，并显著提高了稀疏MoE模型的性能和资源效率。
CoE是如何实现专家间的通信的？
CoE允许专家在单层内串行通信，通过迭代机制使专家能够在其他专家的输出基础上处理token。
CoE技术的提出者是谁？
CoE技术由Zihan Wang等5人团队提出，Zihan Wang曾在DeepSeek实习。
CoE与传统MoE模型相比有什么不同？
CoE通过串行处理和迭代机制优化了信息流，而传统MoE模型通常依赖并行处理，内存需求较高。
CoE技术在实验中表现如何？
实验表明，经过2次迭代的CoE在相同计算预算下，验证损失显著降低，从1.20降至1.12。
CoE技术的关键创新是什么？
CoE的关键创新在于独立门控机制和内残差连接，这些设计显著提升了模型性能。
