自回归序列到序列模型中的双向认知引导
内容提要
本文介绍了多种基于双向神经网络的序列生成模型及其在机器翻译和文本处理中的应用，包括BiBS算法、XLNet、非自回归模型和T-TA文本自编码器等。这些模型在多个任务中表现优异，显著提升了翻译性能和效率。
延伸解读
双向建模的演进脉络
文章按时间顺序梳理了双向序列生成模型的发展：从2017年的BiBS算法，到2019年的XLNet和非自回归模型，再到2020年后的T-TA、双向预训练策略、CBBGCA框架以及LeaP/LeaPformers。这些工作共同指向一个趋势：通过双向上下文或双向解码提升生成质量与效率，且在不同任务中验证了有效性。
效率与质量的权衡
非自回归模型和T-TA均强调效率提升。非自回归生成在三个翻译基准上性能与最先进模型相当且几乎不随序列长度变化；T-TA在CPU环境下比BERT快六倍至十二倍，同时保持相当或更好的准确性。这表明双向或非自回归方法能在不牺牲过多质量的前提下显著加速推理。
双向预训练与翻译性能
双向预训练策略将NMT模型从'src -> tgt'更新为'src + tgt -> tgt + src'，在15项任务上提升了表现并改善了双语对齐。CBBGCA框架通过多任务联合训练和基于置信度的知识蒸馏，在三个大型翻译数据集上提高了BLEU分数。这些结果说明双向全局上下文能有效增强翻译质量。
注意力控制的灵活性
LeaP和LeaPformers通过基于位置的重加权函数和动态比例生成模块，实现了更灵活的注意力集中模式，并成功应用于线性化Transformer。在多个任务上达到了最佳质量与吞吐量的平衡，取得了竞争性结果。这提示未来模型设计可更精细地控制注意力分布以适应不同场景。
Q&A
BiBS算法的主要功能是什么？
BiBS算法用于逼近推理双向神经序列模型中的1-Best和M-Best解码，并在可视化任务中验证其高效性和效果。
XLNet与BERT相比有什么优势？
XLNet通过最大化分解顺序的所有排列的期望似然，学习双向上下文，在20项任务中超越了BERT的表现。
非自回归序列生成模型的主要优点是什么？
非自回归序列生成模型提高了生成效率，其性能与最先进的模型相当，且几乎不随序列长度变化。
T-TA文本自编码器的性能如何？
T-TA在CPU环境下的reranking任务中比基于BERT的模型快六倍，在语义相似性任务中快十二倍，且准确性相当或更好。
CBBGCA训练框架的作用是什么？
CBBGCA训练框架用于在神经机器翻译中有效利用双向全局上下文，通过多任务联合训练提高BLEU分数。
Learned Proportions (LeaP)模型的创新点是什么？
LeaP模型通过基于位置的重加权函数和动态比例生成模块，实现了更灵活的注意力集中模式，提升了任务的质量和吞吐量。
