本研究提出了GeoUni，这是首个统一的几何专家模型，能够在单一框架内生成几何问题的解决方案和图形，填补了机器学习在该领域的空白。

本研究提出AIDE框架，解决视觉语言模型（VLM）对更大模型的依赖问题。AIDE通过利用专业领域的专家模型自主增强能力，显著提升性能，无需更大模型或人工监督。

本研究提出了“战斗编码器”，通过专家模型在竞技环境中相互挑战生成新训练数据，解决大型代码语言模型对高质量数据的依赖问题。实验结果表明，该方法在性能上具有竞争力，且不依赖专有模型。

OpenAI于2024年12月6日推出了一种新的强化微调方法，旨在通过少量数据构建专家模型，应用于医疗和科学决策等领域。该方法结合了人类反馈的强化学习，有效学习决策过程。尽管技术潜力巨大，但数据集中在非开源公司可能带来安全隐患。

本研究探讨了稀疏语言模型的高效训练方法，包括异步训练和专家模型培训。引入稀疏自编码器解决了估计偏差问题，实现了可解释特征的无监督发现。同时，提出自适应稀疏训练（AST），显著缩小稠密与稀疏模型的性能差距，推动特征的普遍性和可解释性发展。

本文探讨了大型语言模型（LLMs）的专家模型微调方法，发现单任务微调在多个数据集上优于多任务微调。提出的LoRAMoE模型通过插件形式有效协调专家，避免知识遗忘，提升下游任务性能。同时，研究分析了知识编辑方法，提出新的基准KnowEdit，强调知识编辑在模型更新中的重要性。

本文介绍了一种高效的LLM比较评估的专家模型（PoE），通过结合不同专家的信息，可以得到一个与潜在候选集相关的表达式，具有高度灵活性。使用高斯专家时，可以导出最优候选排名的简单闭式解，以及选择哪些比较可以最大化该排名的概率的表达式。该方法能够实现高效的比较评估，只需使用一个小子集即可生成与全部比较使用时相似相关性的分数预测。在多个自然语言生成任务上评估了该方法，并证明了在执行成对比较评估时能够实现可观的计算节省。

该研究提出了一种基于专家模型的冷启动与热身网络，通过门控网络整合两个专家的结果，并引入动态知识蒸馏作为教师选择器，以帮助专家更好地学习用户表示。该模型在公共数据集上表现优异，对于所有用户类型都胜过其他模型，并在一个工业级短视频平台上实现了显著的增加。