蝈蝈俊
·
使用GPU训练神经网络的历史 - 蝈蝈俊
💡
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
GPU的算力比CPU强大得多，原因在于GPU集成了更多的处理单元，可以高度并行化，一次可以执行成千上万个线程，实现超高的计算粒度和吞吐量。此外，GPU的处理单元更简单，主要针对高度并行的矩阵和向量运算优化，内存带宽也更高，专门为大规模矩阵运算和数据访问优化。因此，使用GPU做机器学习已成为标配，最早的论文是2012年Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton发表的《ImageNet Classification with Deep Convolutional Neural Networks》。
🎯
关键要点
- GPU的算力比CPU强大得多，原因在于GPU集成了更多的处理单元，可以高度并行化。
- GPU在同样芯片面积上集成的处理单元数目远高于CPU，能够执行成千上万个线程。
- GPU的处理单元更简单，主要针对高度并行的矩阵和向量运算优化。
- GPU的内存带宽远高于CPU，专门为大规模矩阵运算和数据访问优化。
- GPU有专门的编程框架如CUDA和OpenCL，能够充分利用其高度并行的结构。
- GPU与CPU的主要对比在于处理单元、内存结构、编程模型等方面。
- GPU专注于高度并行的数值密集型计算，适合机器学习等应用。
- 2012年，使用GPU进行机器学习的标志性论文是《ImageNet Classification with Deep Convolutional Neural Networks》。
- Alex Krizhevsky等人使用GPU训练的AlexNet在ImageNet比赛中取得了显著的成绩，推动了GPU在神经网络训练中的应用。
➡️
