研究发现，专家混合（MoE）大语言模型在嵌入任务中无需调整即可表现优异。提出的MoEE方法结合路由权重和隐藏状态，显著提升了性能，为嵌入任务提供了新方法。

本文介绍了一种改进的胶囊网络架构，提出了新的路由权重初始化技术和基于条件随机场的设计，以提升多标签分类任务的可扩展性。同时，研究探讨了胶囊网络在图像识别和医学成像等领域的应用及其面临的挑战。