Your Mixture of Experts Large Language Model is Actually a Free Embedding Model

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

研究发现,专家混合(MoE)大语言模型在嵌入任务中无需调整即可表现优异。提出的MoEE方法结合路由权重和隐藏状态,显著提升了性能,为嵌入任务提供了新方法。

🏷️

标签

➡️

继续阅读