由大到小：利用弱监督提炼和提高数学词问题的数学专业知识
原文中文，约400字，阅读约需1分钟。发表于：。通过创新的两阶段框架，从大型到小型语言模型中转移数学专业知识，通过弱监督任务设置解决数学文字问题中标注成本高的挑战，并在降低计算成本的同时，在 Math23K 和 Weak12K 数据集上表现出显著改进的性能。
本文介绍了一种名为“Distilling step-by-step”的新机制，通过提取LLM rationales作为小型模型的附加监督来训练比LLM更小且表现更好的模型。该机制使用更少的标注/非标注训练样例实现更好的性能，并且使用明显更小的模型尺寸实现更好的性能。
