由大到小：利用弱监督提炼和提高数学词问题的数学专业知识

BriefGPT - AI 论文速递 · 2024-03-21T00:00:00Z

本文介绍了一种名为“Distilling step-by-step”的新机制，通过提取LLM rationales作为小型模型的附加监督来训练比LLM更小且表现更好的模型。该机制使用更少的标注/非标注训练样例实现更好的性能，并且使用明显更小的模型尺寸实现更好的性能。