研究发现，专家混合（MoE）大语言模型在嵌入任务中无需调整即可表现优异。提出的MoEE方法结合路由权重和隐藏状态，显著提升了性能，为嵌入任务提供了新方法。

本研究提出了一种基于专家混合（MoE）的新框架，解决视频摘要中资源密集的微调问题。该方法整合多种视频大语言模型，实现无微调的视频摘要，生成更具语义意义的总结，提升下游任务表现。

本研究提出了一种专家混合框架，解决交通超出分布场景数据集不足的问题。该方法能有效学习和适应新的空间关系，提高模型在空间分布变化时的鲁棒性，优于现有技术。

本文介绍了基于专家混合（MoE）的个性化大型语言模型P-tailor，用于建模五大人格特征，并通过个性特化损失提高模型参数利用效率。作者构建了高质量的人格塑造数据集（PCD），实验证明了P-tailor在细粒度人格特征操作方面的出色性能和有效性。

通过PESC方法，结合稀疏模型和专家混合，能够在指令调整阶段提高性能、降低计算成本和GPU内存要求。实验证明，PESC稀疏模型在功能上优于其他开源稀疏模型，并比GPT3.5具有更优秀的整体性能。