研究发现，专家混合（MoE）大语言模型在嵌入任务中无需调整即可表现优异。提出的MoEE方法结合路由权重和隐藏状态，显著提升了性能，为嵌入任务提供了新方法。

本研究提出了一种基于专家混合（MoE）的新框架，解决视频摘要中资源密集的微调问题。该方法整合多种视频大语言模型，实现无微调的视频摘要，生成更具语义意义的总结，提升下游任务表现。

本研究提出了一种专家混合框架，解决交通超出分布场景数据集不足的问题。该方法能有效学习和适应新的空间关系，提高模型在空间分布变化时的鲁棒性，优于现有技术。

本文提出了一种基于“专家混合”的框架，旨在平衡复杂系统中的准确性与解释性。该方法通过融合多样化的本地模型与先验知识，支持专家独立训练，并结合机器学习与系统辨识技术。实验结果表明，该框架能够生成可解释的模型组合，提升预测性能。

本文综述多种大模型高效适配方法：MultiLoRA扩展LoRA模块以降低参数依赖并提升多任务性能；HyperLoRA利用超网络适配低资源方言；多机器人协作借助LLM实现规划与通信；LARP增强语言代理的游戏交互；LoraRetriever自适应组合多个LoRA；MoRAL结合专家混合与低秩适配支持终身学习；LoRAHub组合多任务LoRA模块；Leeroo编排多个LLM，以更低成本达到与Mixtral和GPT-4相当的效果。

该文汇总多项大语言模型研究：Mistral 7B经微调提升医学翻译，零样本性能媲美NLLB 3.3B；Mixtral 8x7B采用专家混合架构，表现优异；MaLA-500覆盖534种语言；LongBench评估长文本能力；LLaMA2扩展至32k上下文；mLongT5提升多语言长文本任务；马耳他语单语预训练也取得显著改进。