增强混合专家网络的 “免疫力” 以进行对抗性防御
内容提要
该文综述混合专家（MoE）模型研究进展，涵盖AdvMoE对抗训练框架提升CNN鲁棒性并降低推理成本，新门控结构、uMoE不确定性建模、MoDE专家互蒸馏等方法增强专业化与泛化能力，理论证明MoE可分解复杂问题且比密集网络更抗攻击，以及HyperMoE、单门异步训练、GMoE图网络和鲁棒问答等应用拓展。
延伸解读
对抗鲁棒性与效率的平衡
AdvMoE框架通过路由器-专家交替对抗训练，在提升MoE-CNN对抗鲁棒性的同时，利用稀疏门控结构大幅降低推理成本。这提示我们，对抗防御不一定以牺牲效率为代价，稀疏化设计可能成为兼顾安全与实用的重要方向。
不确定性建模的实用价值
uMoE将不确定性直接集成到训练中，专注于处理数据中的偶然不确定性。这种方法在生物医学信号处理、自动驾驶和质量控制等领域具有应用潜力，因为它能适应不同不确定性水平并优化阈值参数，为高风险场景提供更可靠的预测。
理论理解与架构创新
理论研究揭示了MoE路由器的聚类中心学习机制，能将复杂问题分解为线性子问题，且稀疏MoE比密集网络更抗对抗攻击。同时，HyperMoE和MoDE等新架构通过利用未选专家或专家间互蒸馏，进一步提升了知识利用效率和泛化能力。
跨领域应用拓展
MoE思想已扩展到图神经网络和鲁棒问答任务。GMoE在OGB基准上验证了其建模多样图结构的有效性；在问答系统中，结合数据增强和DistilBERT，MoE多任务学习器在严格测试中取得了显著性能提升，展示了其通用性。
Q&A
AdvMoE框架如何提升混合专家模型的对抗鲁棒性？
AdvMoE采用路由器-专家交替对抗训练框架，使MoE-CNN模型在对抗环境下获得1%~4%的鲁棒性改进，同时稀疏门控结构带来超过50%的推理成本降低。
uMoE方法主要解决什么问题？
uMoE通过将不确定性直接集成到训练过程中，解决神经网络预测模型中的aleatoric不确定性问题，在处理数据不确定性方面显著优于基线方法，并能适应不同不确定性水平提供最佳阈值参数。
为什么混合专家模型比密集神经网络更抗对抗攻击？
理论分析和实验表明，稀疏的Mixture of Expert模型相比密集神经网络具有更好的鲁棒性，可以抵抗对抗性攻击，使其成为增强学习等应用中的有力工具。
HyperMoE框架有什么创新点？
HyperMoE基于Hypernetworks，利用未选择的专家生成的特定模块作为补充信息，在保持选择稀疏性的同时利用未选择专家的知识，从而在相同条件下显著优于现有MoE方法。
MoDE方法如何提升专家性能？
MoDE通过在专家之间应用适度的相互蒸馏，使每个专家掌握其他专家学习到的更多特征，从而对其原始分配的子任务有更准确的认识，提升整体性能。
混合专家模型在问答系统中有哪些应用？
在鲁棒问答任务中，使用Mixture-of-Experts模型训练多任务学习器，结合DistilBERT生成问题向量，并采用EDA和回译数据增强，在严格测试中达到53.477 F1分数，比基线提高9.52%。
