Regress, Don't Guess — A Regression-like Loss for Number Tokens in Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了两种数字token损失函数,以改善语言模型在数字生成和数量推理方面的不足,尤其是在算术任务中。这些损失函数通过度量生成的数字与真实值之间的距离,显著提高了模型的数字准确性,特别是在标准T5模型上表现突出。

🏷️

标签

➡️

继续阅读