使用动态准则改进自回归训练
内容提要
本文介绍了改进的DAgger算法DADAgger，通过专家询问解决数据集中的不一致状态，并利用dropout模拟模型预测的方差，构建高效的训练数据集。同时，提出了Diffusion Meets DAgger方法，解决训练策略中的错误累积问题，显著提升性能。此外，探讨了基于BERT的非自回归文本生成模型和动态检索增强生成框架，展示了在多种任务中的优越表现。
延伸解读
DAgger 的改进方向：从 DADAgger 到 DMD
文章介绍了两种改进 DAgger 的方法。DADAgger 只针对原数据集中分布不一致的状态-行动对询问专家，并利用 dropout 模拟预测方差，以构建高效平衡的训练集。Diffusion Meets DAgger（DMD）则利用扩散模型生成覆盖分布外状态的样本，解决训练策略中的错误累积问题，实验表明其性能比基于 NeRF 的增强方案提高 50%。这些方法共同指向减少专家询问成本并提升策略鲁棒性。
非自回归文本生成与动态检索增强
基于 BERT 的非自回归文本生成模型通过引入 ratio-first 解码策略，解决了 NAG 模型中的两个问题，在三个文本生成任务上速度和性能均优于现有非自回归基线，并在许多强自回归模型上取得有竞争力的表现。动态检索增强生成框架 DRAGIN 则考虑大型语言模型的实时信息需求，改进生成过程中何时检索及检索什么的策略。两者分别从解码和检索角度提升生成效率与质量。
动态筛选与重排序在推理任务中的应用
DyRRen 框架扩展了检索-筛选-生成流程，在每个生成步骤中动态筛选和重新排序检索到的句子，可应用于数值推理及融合表格与长文本的任务，并在 FinQA 数据集上胜过现有基线。此外，面向神经符号推理的组合感知方法在子图级别进行细粒度推理，结合神经与符号优势，在领域间和尾部表现出良好的推广性能。这些工作展示了动态调整信息利用方式对复杂推理任务的价值。
Q&A
DADAgger算法的主要创新点是什么？
DADAgger算法通过专家询问解决数据集中的不一致状态，并利用dropout模拟模型预测的方差，构建高效的训练数据集。
Diffusion Meets DAgger方法如何提升训练性能？
Diffusion Meets DAgger方法通过生成覆盖分布外状态的样本，解决训练策略中的错误累积问题，从而显著提升性能。
基于BERT的非自回归文本生成模型有什么优势？
该模型通过新的解码策略在速度和性能上优于现有的非自回归基线模型，并在许多强自回归模型上也表现出竞争力。
动态检索增强生成框架（DRAGIN）是如何改善文本生成的？
DRAGIN通过考虑大型语言模型的实时信息需求，改善了文本生成中的检索策略。
DyRRen框架在数值推理任务中的表现如何？
DyRRen框架通过动态筛选和重新排序增强生成步骤，在数值推理和融合表格与长文本的任务中表现优越。
DADAgger算法在自动驾驶任务中的表现如何？
HG-DAgger算法在模拟和实际的自动驾驶任务中表现出比DADAgger和行为克隆更好的性能。
