下一标记预测的隐性偏见
内容提要
该文汇总多项NLP研究：可微序列训练与概率n-gram匹配提升翻译，平均提高1.5 BLEU；广义EM用于知识图谱链接预测；神经定理证明器实现可扩展推理；线性下一标记预测器经思维链训练可近似图灵机，并提出长度复杂度；多任务预训练优于单任务；噪声对比估计加速语言模型训练。
延伸解读
理论视角：下一标记预测的表达能力
文章指出，线性下一标记预测器经思维链训练可近似图灵机，并引入长度复杂度度量。这提示我们，自回归训练方案本身可能赋予模型强大计算能力，而不必依赖复杂架构。读者可关注长度复杂度如何与其他复杂度概念关联，以及实验中小型模型在算术任务上的表现。
训练效率与性能的平衡
文章汇总了多项提升训练效率的研究：可微序列训练避免强化学习，在翻译任务上平均提高1.5 BLEU；噪声对比估计加速语言模型训练并在句子完成挑战上取得先进结果。这些方法表明，优化训练目标或采样策略可以在不牺牲性能的前提下减少计算开销。
多任务预训练与可解释性探索
多任务预训练框架在GLUE基准上超越BERT Base，说明辅助任务组合能提升泛化。同时，广义EM用于知识图谱链接预测、神经定理证明器实现可扩展推理，以及基于边界损失改进上下文编码，都指向对模型可解释性和推理能力的持续追求。
Q&A
可微序列级训练如何提升神经机器翻译性能？
该方法使用概率n-gram匹配避免强化学习框架，在训练中执行贪心搜索并使用预测单词作为上下文，以缓解曝光偏差。在NIST中英文翻译任务中显著优于基于强化学习的算法，并在强基线系统上平均实现1.5个BLEU点的改进。
广义EM方法在知识图谱链接预测中有什么优势？
基于广义EM方法的RNNNTP方法将模型分为关系生成器和预测器，训练出同时具有高效性和可解释性的模型，在知识图谱链接预测任务上性能与传统方法和当前强竞争方法相当。
线性下一标记预测器经过思维链训练能实现什么？
线性下一标记预测器在Chain-of-Thought数据上训练，能有效近似图灵机计算的任何函数。文章还引入了长度复杂度度量，衡量实现目标函数所需的CoT序列中间标记数，并分析了其与其他复杂度概念的关系。
多任务预训练相比单任务预训练有什么优势？
使用多种任务的多任务预训练框架比单个辅助任务更好地提高了结果表现，并在GLUE基准测试中打败了BERT Base。
噪声对比估计如何加速语言模型训练？
提出了一种快速而简单的基于噪声对比估计算法的NPLM训练方法，用此方法训练的几个神经语言模型在Microsoft Research句子完成挑战数据集上取得了最先进的结果，并有效降低了训练时间。
神经定理证明器如何实现可扩展推理？
神经定理证明器通过仅考虑最高证明分数相关的证明路径，可以在以前无法应用的知识库上进行推理和学习，被证明的可扩展性更加高效，并取得了较好的预测结果和可解释性。
