LLama+Mistral+…+Yi=? The Training-Free Heterogeneous Large Model Ensemble Learning Framework DeePEn is Here
内容提要
哈工大和鹏城实验室的研究人员提出了DeePEn框架，实现了Training-free的异构大模型集成学习，通过融合多个模型输出的概率分布，实现更深层次的模型协作。实验结果表明，DeePEn在多个公开数据集上取得了显著提升，有效扩展大模型性能边界。
延伸解读
无需训练，即插即用
DeePEn 的核心优势在于无需额外训练即可集成多个异构大模型。它通过构建相对表示空间，在解码阶段融合各模型的概率分布，避免了传统集成方法需要训练外部模块的繁琐过程。这意味着用户可以快速将任何模型组合在一起，无需调整参数，大大降低了应用门槛。
性能提升与模型数量权衡
实验表明，DeePEn 在多个公开数据集上均能带来一致性的性能提升，例如在 GSM8K 上结合投票法提升了 11.35 个百分点。然而，集成性能并非随模型数量增加而无限提升，而是先增后减。引入性能较差的模型会拖累整体表现，因此选择互补且性能相近的模型进行集成至关重要。
通用与专家模型的协同
DeePEn 不仅适用于通用大模型之间的集成，还能有效结合通用模型与任务特定专家模型。在机器翻译任务中，LLaMA2-13B 与多语言翻译模型 NLLB 的集成显著提升了性能。这为利用现有专家模型增强通用模型在特定领域的能力提供了新思路，无需重新训练即可实现优势互补。
Q&A
DeePEn框架的主要创新点是什么？
DeePEn框架实现了Training-free的异构大模型集成学习，通过融合多个模型输出的概率分布，解决了模型间的词表差异问题。
DeePEn如何处理不同模型的概率分布？
DeePEn在解码阶段将不同模型的概率分布映射到统一的相对表示空间进行融合，无需参数训练。
DeePEn在实验中表现如何？
实验结果表明，DeePEn在多个公开数据集上取得了显著提升，有效扩展了大模型的性能边界。
集成模型数量对性能的影响是什么？
随着集成模型数量的增加，集成性能先增后减，性能较差的模型会影响整体性能。
DeePEn在机器翻译任务中的表现如何？
DeePEn与专家模型的集成在机器翻译任务中表现突出，显著提升了特定任务的性能。
DeePEn是如何构建统一的相对表示空间的？
DeePEn通过找出多个模型词表的交集，构建由共享token构成的统一相对表示空间。
