掩盖思路:简单地掩盖部分推理步骤可以提高语言模型对数学推理的学习能力

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

研究人员开发了一种无需外部资源的训练方法,通过对输入引入扰动提高了准确性。使用GSM8K进行微调时,相比标准有监督微调提高了5%的准确性。与现有方法相结合,在不同质量和大小的数据集上分别提高了3%和1%的准确性。通过案例研究和定量分析,研究人员发现这种改进的机制可能为模型提供更好的支持。