本研究提出了一种新的深度模型融合方法,称为“零-shot稀疏低秩专家(SMILE)构建”,可在不需要额外数据或进一步训练的情况下将源模型扩展为MoE模型。实验表明,SMILE在多个任务中表现出良好的适应性和可扩展性。
深度模型融合是一种新兴技术,将多个深度神经网络的预测或参数统一到一个模型中,优于原模型的性能。FusionBench是第一个专门面向深度模型融合的基准测试,提供公平且全面的比较。同时提供资源和指南,帮助研究人员理解和复现基准测试结果。
完成下面两步后,将自动完成登录并继续当前操作。