LLama+Mistral+…+Yi=? The Training-Free Heterogeneous Large Model Ensemble Learning Framework DeePEn is Here
原文日文，约3000字，阅读约需8分钟。
📝
内容提要
哈工大和鹏城实验室的研究人员提出了DeePEn框架，实现了Training-free的异构大模型集成学习，通过融合多个模型输出的概率分布，实现更深层次的模型协作。实验结果表明，DeePEn在多个公开数据集上取得了显著提升，有效扩展大模型性能边界。
❓
Q&A
DeePEn框架的主要创新点是什么？
DeePEn框架实现了Training-free的异构大模型集成学习，通过融合多个模型输出的概率分布，解决了模型间的词表差异问题。
DeePEn如何处理不同模型的概率分布？
DeePEn在解码阶段将不同模型的概率分布映射到统一的相对表示空间进行融合，无需参数训练。
DeePEn在实验中表现如何？
实验结果表明，DeePEn在多个公开数据集上取得了显著提升，有效扩展了大模型的性能边界。
集成模型数量对性能的影响是什么？
随着集成模型数量的增加，集成性能先增后减，性能较差的模型会影响整体性能。
DeePEn在机器翻译任务中的表现如何？
DeePEn与专家模型的集成在机器翻译任务中表现突出，显著提升了特定任务的性能。
DeePEn是如何构建统一的相对表示空间的？
DeePEn通过找出多个模型词表的交集，构建由共享token构成的统一相对表示空间。
🏷️
