量子位
·
LSTM之父向何恺明开炮：我学生才是残差学习奠基人
💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
LSTM之父Schmidhuber质疑何恺明是残差学习的奠基人，指出早在1991年，Hochreiter已提出循环残差连接以解决梯度消失问题。他认为ResNet等深度学习成果应归功于早期研究，争论已持续多年。
🎯
关键要点
- LSTM之父Schmidhuber质疑何恺明是残差学习的奠基人。
- Schmidhuber指出早在1991年，Hochreiter已提出循环残差连接以解决梯度消失问题。
- 他认为ResNet等深度学习成果应归功于早期研究，争论已持续多年。
- 1991年，Hochreiter在博士论文中首次分析RNN的梯度消失问题，并提出循环残差连接。
- 循环残差连接的核心思想是使用权重为1.0的自连接神经单元，保持误差信号不消失。
- LSTM的核心单元是权重为1.0的循环残差连接，确保误差在长时间内保持不衰减。
- 2015年，ResNet在ImageNet竞赛中成功，将残差学习带入大众视线。
- Schmidhuber认为ResNet与Highway网络设计相似，都是基于1997年LSTM的前馈变体。
- Schmidhuber的观点并不代表普遍认可，他曾质疑多种神经网络的起源。
🏷️
标签
➡️
