重复输入重复输出:从数据角度理解神经文本退化

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

研究发现,训练数据中重复出现的词语与文本退化问题之间存在强烈相关性。消除重复词语的注意力可以减少退化现象,惩罚训练数据中的重复部分是解决退化问题的基本因素。

🏷️

标签

➡️

继续阅读