本研究提出“重复神经元”概念,解决文本生成中的重复问题。这些神经元在文本重复时更活跃,将重复视为复制上下文的任务。研究发现,四种预训练语言模型中都有类似模式,揭示了重复现象的内在机制和影响。
完成下面两步后,将自动完成登录并继续当前操作。