本研究提出了一种新的深度模型融合方法，称为“零-shot稀疏低秩专家(SMILE)构建”，可在不需要额外数据或进一步训练的情况下将源模型扩展为MoE模型。实验表明，SMILE在多个任务中表现出良好的适应性和可扩展性。

SMILE：基于预训练基础模型的零-shot稀疏低秩专家构建
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证