SMILE:基于预训练基础模型的零-shot稀疏低秩专家构建
原文中文,约2100字,阅读约需5分钟。发表于: 。本研究旨在解决深度模型融合中的参数干扰和可解释性不足的问题。我们提出了一种新颖的模型融合方法“零-shot稀疏低秩专家(SMILE)构建”,该方法可在不需要额外数据或进一步训练的情况下,将源模型扩展为MoE模型。实验表明,SMILE在多个任务中表现出良好的适应性和可扩展性。
本研究提出了一种新的深度模型融合方法,称为“零-shot稀疏低秩专家(SMILE)构建”,可在不需要额外数据或进一步训练的情况下将源模型扩展为MoE模型。实验表明,SMILE在多个任务中表现出良好的适应性和可扩展性。