重复输入重复输出：从数据角度理解神经文本退化

研究发现，训练数据中重复出现的词语与文本退化问题之间存在强烈相关性。消除重复词语的注意力可以减少退化现象，惩罚训练数据中的重复部分是解决退化问题的基本因素。