混合专家更有主见了，能感知多模态分情况行事，Meta提出模态感知型专家混合
内容提要
《Chameleon: 混合模态早期融合基础模型》介绍了一种新的单一Transformer架构，称为Chameleon，该架构对混合模态序列进行建模，以实现无缝推理和生成。Meta FAIR团队提出了模态感知稀疏架构（MoMa），通过集成特定于每种模态的模块来优化此框架。实验结果表明，MoMa模型在各种下游任务中表现出色。此外，团队进行了效率优化和吞吐量分析，证明了MoMa的高效性。
延伸解读
模态异构性驱动的稀疏设计
文章指出，文本和图像token具有不同的信息密度和冗余模式，这是模态感知型稀疏架构（MoMa）的核心依据。通过为每个模态设置独立的专家分组，模型能够为不同模态开发专门的处理路径，同时借助部分参数共享和注意力机制维持跨模态整合。这种设计不是简单增加参数量，而是让稀疏性更贴合模态特性，从而提升预训练效率。
升级改造与路由优化
MoMa采用升级改造方法，先训练每个模态一个FFN专家的密集模型，再将FFN转换为专家选择式MoE模块，并重置学习率调度器以利用刷新数据。同时引入Gumbel噪声增强路由函数，使新路由器能以可微分方式采样专家。实验表明，升级改造能带来1.16至1.2倍的FLOPs收益，且随训练推进，与从头训练模型的性能差距逐渐增大。
效率与吞吐量的权衡
为支持分布式训练，团队采用完全分片式数据并行（FSDP），并针对负载平衡和专家执行效率进行优化，如限制文本token路由到图像专家、使用模块稀疏性、按顺序运行不同模态专家。吞吐量分析显示，基于模态的稀疏性能实现更好的质量-吞吐量权衡，并随专家数量增长展现合理可扩展性；而MoD变体虽取得最佳绝对损失，但因额外动态性和不平衡性，计算成本更高。
实验表现与扩展趋势
在超过1万亿token的预训练中，稀疏模型仅用总FLOPs的1/η即可比肩同等FLOPs密集模型的预训练损失。引入模态专家分组显著提升效率，尤其对图像模态有益。扩展专家数量能进一步降低训练损失，但文本和图像损失表现出不同扩展模式。最终，1.4B MoMa 4t4i模型在混合文本和图像数据上建模结果最佳，展现了模态感知稀疏架构的潜力。
Q&A
Chameleon架构的主要特点是什么？
Chameleon架构是一种单一Transformer架构，能够对混合模态序列进行建模，实现无缝推理和生成，适应广泛的视觉和语言能力。
MoMa模型如何优化Chameleon框架？
MoMa模型通过集成特定于每种模态的模块，采用模态感知型稀疏性技术，提升了Chameleon框架的效率和性能。
模态感知型稀疏性（MaS）技术的作用是什么？
模态感知型稀疏性技术能让模型更好地捕获每个模态的特征，同时维持强大的跨模态整合性能。
Chameleon在生成混合模态长回答任务中的表现如何？
Chameleon在生成混合模态长回答任务中表现优异，甚至超过了Gemini 1.0 Pro和GPT-4V等商用模型。
如何提升MoMa模型的训练效率？
通过采用完全分片式数据并行（FSDP）和引入辅助路由器等方法，提升MoMa模型的训练效率。
实验结果显示稀疏模型的优势是什么？
实验结果表明，稀疏模型在训练效率和性能上优于密集模型，能够实现更好的质量-吞吐量权衡。
