量子位
·
大模型“拼好题”，45K数据撬动18%提升，数学问题拒绝死记硬背 | MathFusion
💡
原文中文，约2600字，阅读约需7分钟。
📝
内容提要
MathFusion通过顺序、并行和条件三种融合策略提升大语言模型在数学问题上的能力，利用45K合成指令使准确率提高18%。该方法有效捕捉问题间深层联系，展现出优越的数据效率和性能，适用于更复杂的数学问题。
🎯
关键要点
- MathFusion通过顺序、并行和条件三种融合策略提升大语言模型在数学问题上的能力。
- 仅使用45K合成指令，MathFusion在多个基准测试中平均准确率提升了18%。
- 顺序融合将两个问题串联，前一个问题的答案作为后一个问题的输入条件。
- 并列融合将两个相似的问题融合，提出新的问题。
- 条件融合创造需要对两个问题解进行比较和选择的问题场景。
- MathFusion生成了一个全新的融合数据集MathFusionQA。
- 实验结果显示，MathFusion显著提升模型性能与效率，保持高数据效率。
- 组合融合策略优于单一策略，基础模型性能越弱，提升越大。
- MathFusion在in-domain和out-of-domain测试中均表现优异。
- 融合后的问题指令遵循难度更高，模型性能随融合数据量增加而提升。
- MathFusion的思路与DART-Math的思路互补，结合使用可进一步提升性能。
- MathFusion目前验证仅限于简单数学问题，需扩展到更复杂的问题和领域。
❓
延伸问答
MathFusion是如何提升大语言模型解决数学问题的能力的？
MathFusion通过顺序、并行和条件三种融合策略，将不同的数学问题结合，生成新的问题，从而提升模型的能力。
MathFusion使用了多少合成指令？
MathFusion仅使用了45K合成指令。
MathFusion在基准测试中的准确率提升了多少？
MathFusion在多个基准测试中平均准确率提升了18%。
顺序融合和并列融合有什么区别？
顺序融合将两个问题串联，前一个问题的答案作为后一个问题的输入条件；而并列融合则将两个相似的问题融合，提出新的问题。
MathFusion的实验结果显示了什么？
实验结果显示，MathFusion显著提升了模型性能与效率，并保持高数据效率。
MathFusion的思路与DART-Math有何关系？
MathFusion的“问题融合”思路与DART-Math的“挖掘难题”思路是互补的，结合使用可进一步提升性能。
➡️
