LLama+Mistral+…+Yi=? The Training-Free Heterogeneous Large Model Ensemble Learning Framework DeePEn is Here
内容提要
哈工大和鹏城实验室的研究人员提出了DeePEn框架，实现了Training-free的异构大模型集成学习，通过融合多个模型输出的概率分布，实现更深层次的模型协作。实验结果表明，DeePEn在多个公开数据集上取得了显著提升，有效扩展大模型性能边界。
关键要点
-
哈工大和鹏城实验室提出了DeePEn框架，实现了Training-free的异构大模型集成学习。
-
DeePEn通过融合多个模型输出的概率分布，实现更深层次的模型协作。
-
实验结果表明，DeePEn在多个公开数据集上取得了显著提升，有效扩展大模型性能边界。
-
DeePEn解决了异构大模型间的词表差异问题，构建了统一的相对表示空间。
-
在解码阶段，DeePEn将不同模型的概率分布映射到相对空间进行融合，无需参数训练。
-
相对表示融合通过加权平均获得聚合的相对表示，使用两种方法确定协作权重。
-
实验结果显示，不同大模型在不同任务上表现差异，分布融合在各个数据集上均有提升。
-
随着集成模型数量增加，集成性能先增后减，性能较差的模型会影响整体性能。
-
集成大模型与专家模型有效提升特定任务性能，尤其在机器翻译任务中表现突出。
延伸问答
DeePEn框架的主要创新点是什么？
DeePEn框架实现了Training-free的异构大模型集成学习，通过融合多个模型输出的概率分布，解决了模型间的词表差异问题。
DeePEn如何处理不同模型的概率分布？
DeePEn在解码阶段将不同模型的概率分布映射到统一的相对表示空间进行融合，无需参数训练。
DeePEn在实验中表现如何？
实验结果表明，DeePEn在多个公开数据集上取得了显著提升，有效扩展了大模型的性能边界。
集成模型数量对性能的影响是什么？
随着集成模型数量的增加，集成性能先增后减，性能较差的模型会影响整体性能。
DeePEn在机器翻译任务中的表现如何？
DeePEn与专家模型的集成在机器翻译任务中表现突出，显著提升了特定任务的性能。
DeePEn是如何构建统一的相对表示空间的？
DeePEn通过找出多个模型词表的交集，构建由共享token构成的统一相对表示空间。
