BriefGPT - AI 论文速递
·
基于数据分布的课程学习
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
采用课程学习策略和稀疏样本可提高神经网络学习效率。2层ReLU神经网络在稀疏样本中训练，能够在有限步数内学习奇偶类型问题。无论网络大小，都需要额外步骤才能学习。
🎯
关键要点
- 课程学习策略和稀疏样本可以改善神经网络学习效率。
- 混合稀疏和密集输入的数据分布中，使用 curriculum noisy-GD/SGB 算法训练的 2 层 ReLU 神经网络能够在有限步数内学习奇偶类型问题。
- 无论神经网络的宽度或深度，使用 noisy-GD/SGB 算法训练时都需要额外步骤才能学习。
➡️
