重复输入重复输出：从数据角度理解神经文本退化

原文约200字，阅读约需1分钟。发表于：。

我们通过数据角度的初步研究发现，训练数据中重复出现的词语与文本退化问题之间存在强烈的相关性，通过有选择地消除训练数据中重复词语的注意力，可以显著减少退化现象，并且惩罚训练数据中的重复部分是解决退化问题的一个普遍而基本的因素。

研究发现，训练数据中重复出现的词语与文本退化问题之间存在强烈相关性。消除重复词语的注意力可以减少退化现象，惩罚训练数据中的重复部分是解决退化问题的基本因素。