重复示例的涌现特性
原文中文，约500字，阅读约需2分钟。发表于：。本研究解决了在深度学习中，重复示例与单次使用示例之间的性能差异问题。通过对三种数学问题的实验，提出了重复使用小样本集的训练方法能够提升模型的学习速度和表现，强调了重复对性能的积极影响可能超过数据多样性的益处。这为理解深度学习中的泛化与记忆之间的关系提供了新视角。
研究发现，Transformer模型在基本数学任务上表现良好，但在未见过的长输入上泛化能力不足。虽然尝试通过修改位置嵌入和引导数据来改善，但未能解决根本问题。模型在未见输入上仍能学习代数结构，显示出改善泛化的潜力。
