双生影的监视：大型语言模型的分裂目标方法

本文提出了一种新颖的双室结构，用于解决大型语言模型中的“生成监督”问题。该模块在生成每个标记时提供监督，并学习预测序列的监督得分。研究显示，该方法具有重要的理论发现。