由大到小：利用弱监督提炼和提高数学词问题的数学专业知识
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文提出了一种弱监督模型，通过问题描述和答案生成公式，训练数学应用问题求解器。研究表明，采用新机制“逐步提炼”可以在较小模型中实现优于大型语言模型的性能，并且所需标注数据更少。EoTD和MTD技术进一步提升了小型模型的推理能力，实验结果显示其在科学表格生成任务中表现优越。
🔎
延伸解读
弱监督与逐步提炼的协同效应
文章提出的弱监督模型仅需问题答案即可生成公式，降低标注需求。而逐步提炼机制通过提取大语言模型的推理依据作为额外监督，使小模型在更少数据下超越大模型。两者结合，为数学应用题求解提供了高效路径，尤其适合标注资源有限的场景。
EoTD与MTD：小模型推理能力提升的关键
EoTD将推理过程封装为方程表示，构建数据集微调小模型；MTD框架进一步混合多种思维蒸馏，增强推理性能。实验表明，这些技术显著提升小模型在数学推理任务上的表现，甚至达到最先进水平，为小模型民主化先进AI能力提供可能。
跨任务验证：科学表格生成中的优越性
蒸馏数据微调的0.22亿参数Flan-T5-base模型在科学表格文本生成任务上，不仅性能显著提升，还超越了gpt-3.5-turbo等大模型。这表明蒸馏方法能有效迁移大模型能力至小模型，并在特定任务上实现超越，突显其泛化潜力。
❓
Q&A
弱监督模型是如何训练数学应用问题求解器的？
弱监督模型通过问题描述和答案生成公式来训练数学应用问题求解器。
逐步提炼机制的优势是什么？
逐步提炼机制可以在较小模型中实现优于大型语言模型的性能，并且所需标注数据更少。
EoTD技术的主要功能是什么？
EoTD技术将推理过程封装到基于方程的表示中，提升小型语言模型的推理能力。
MTD框架如何增强小型模型的性能？
MTD框架通过混合思维蒸馏增强小型语言模型的推理性能，优于传统蒸馏方法。
实验结果显示小型模型在科学表格生成任务中的表现如何？
实验结果显示，使用蒸馏数据微调的小型模型在科学表格生成任务中表现优越，超越了特定大型语言模型的表现。
如何实现大型语言模型的民主化？
通过将大型语言模型的数学推理能力压缩到亿级参数的小型语言模型中，不影响性能，实现大型语言模型的民主化。
🏷️
