End-to-End Planner Training for Language Modeling

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究解决了语言建模中规划模块与语言模型无法共同微调的问题。通过使用预测标签概率作为混合权重的方法,实现共同训练,优化标签分布。实验结果显示,该方法在困惑度上有明显改善。

🏷️

标签

➡️

继续阅读