BriefGPT - AI 论文速递
·
端到端规划器训练用于语言建模
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究解决了语言建模中规划模块与语言模型无法共同微调的问题。通过使用预测标签概率作为混合权重的方法，实现共同训练，优化标签分布。实验结果显示，该方法在困惑度上有明显改善。
🎯
关键要点
- 本研究解决了语言建模中规划模块与语言模型无法共同微调的问题。
- 提出了一种使用预测标签概率作为混合权重的方法。
- 该方法使规划器和语言模型能够共同训练。
- 通过共同训练，更好地利用规划器预测的标签分布。
- 实验结果显示，该方法在困惑度上有明显改善。
➡️
