研究发现,专家混合(MoE)大语言模型在嵌入任务中无需调整即可表现优异。提出的MoEE方法结合路由权重和隐藏状态,显著提升了性能,为嵌入任务提供了新方法。
完成下面两步后,将自动完成登录并继续当前操作。