Cool-Fusion: 不进行训练即可融合大型语言模型
内容提要
本文探讨了通过知识融合技术提升大型语言模型（LLM）性能的方法，包括模型融合、机器翻译集成和多语言任务应用。研究表明，融合不同领域模型可提高翻译质量和生成能力，提出的UltraFuser框架和Evolver方法在多任务学习中表现优越，设立了新评估标准。
延伸解读
知识融合的多样方法
文章介绍了多种知识融合技术，包括模型融合、即时集成和进化算法等。这些方法旨在结合不同模型的优势，提升目标模型在推理、常识和代码生成等方面的能力。例如，UltraFuser框架通过令牌级门控和两阶段训练，构建了高质量数据集UltraChat 2；Evolver则利用进化算法集成模型权重。这些方法展示了知识融合在提升LLM性能上的潜力。
机器翻译中的融合实践
在机器翻译任务中，文章提出了将LLM与NMT模型即时集成的方法。实验表明，即使较差的LLM也能提升NMT模型的翻译质量，且与LLM集成优于两个强NMT模型的集成。此外，通过利用预训练语言模型得分，翻译模型能专注于源语言建模，在四个测试数据集上取得了BLEU值0.24至2.36的提升。这些结果凸显了融合策略在翻译任务中的有效性。
评估与效率优势
文章还涉及评估方法的创新，如Fusion-Eval在SummEval数据集上达到0.96的Spearman相关性，设立了新标准。同时，数据无关的知识融合方法在参数空间合并模型，无需访问训练数据，即可在所有数据集领域表现良好，且比多任务学习更高效。这些进展表明，知识融合不仅提升性能，还能提高评估准确性和训练效率。
Q&A
知识融合技术如何提升大型语言模型的性能？
知识融合技术通过将不同结构和规模的源语言模型融合为目标模型，改善推理、常识与代码生成等能力，从而提升大型语言模型的性能。
UltraFuser框架的主要特点是什么？
UltraFuser框架引入了令牌级别的门控机制和两阶段训练策略，构建了高质量训练数据集UltraChat 2，展现出高性能。
Evolver方法是如何工作的？
Evolver方法通过进化算法集成不同语言模型的权重，生成新模型并进行评估，从而提升模型性能。
如何将机器翻译模型与大型语言模型结合？
可以通过即时集成方法，将机器翻译模型与大型语言模型结合，从而提高翻译质量，实验表明这种结合能产生更好的翻译结果。
Fusion-Eval评估方法的效果如何？
Fusion-Eval评估方法在SummEval数据集上取得了0.96的Spearman相关性，超过了其他评估方法，树立了新的评估标准。
数据无关的知识融合方法有什么优势？
数据无关的知识融合方法通过合并模型在不同数据集上表现良好，且比多任务学习更高效，适用于更广泛的情况。
