量子位
·
DeepSeek前实习生魔改MoE，用迭代机制把内存需求砍了42%，团队：“免费午餐”优化方法
💡
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
DeepSeek团队推出的CoE（Chain-of-Experts）技术通过迭代机制将内存需求降低17.6%-42%。该技术允许专家在单层内串行通信，提升稀疏MoE模型的性能和资源效率。实验表明，在相同计算预算下，验证损失显著降低，专家组合自由度大幅增加。此技术由Zihan Wang等人提出，旨在优化稀疏神经网络的信息处理。
🎯
关键要点
- DeepSeek团队推出的CoE技术通过迭代机制将内存需求降低17.6%-42%。
- CoE允许专家在单层内串行通信，提升稀疏MoE模型的性能和资源效率。
- 实验表明，经过2次迭代的CoE在相同计算预算下验证损失显著降低。
- CoE的专家组合自由度增加了823倍，显示出显著优势。
- CoE通过在单个层的迭代中将MoE输出反馈为多次迭代的输入来实现。
- 团队使用DeepSeek V2架构验证CoE的有效性，结果显示在性能和资源效率方面具有显著优势。
- CoE在相似算力和内存要求下，能够显著减少内存需求。
- 独立门控机制和内残差连接是CoE的关键架构创新。
- CoE由Zihan Wang等5人团队提出，Zihan Wang曾在DeepSeek实习。
➡️
