BriefGPT - AI 论文速递
·
StoX-Net：用于高效内存计算的随机处理部分和的 DNN 加速器
内容提要
本文介绍了一种在内存计算硬件上训练卷积神经网络的方法，提出了基于批标准化的补偿技术，分类精度达到93.7%。研究了非理想误差的优化，提升了深度神经网络的性能，并探讨了基于随机计算的神经网络架构，展示了在硬件限制下的高效性和节能效果。
关键要点
-
提出了一种在内存计算硬件上训练ResNet类型卷积神经网络的方法，分类精度达到93.7%。
-
研究了模拟交叉开关中的非理想误差，通过在线优化减少训练成本和内存，提高深度神经网络性能。
-
利用随机计算执行基于脉冲神经网络的Transformer模型的点积注意力机制，实现高准确率和能源效率。
-
设计了一种低成本的基于PMOS的8T SRAM Compute-In-Memory架构，用于高效执行乘加操作。
-
优化了基于随机计算的深度卷积神经网络的各个方面，以实现高效、可扩展和节能的硬件优化。
-
分析了使用模拟电阻式存储器执行关键矩阵操作以提高加速器性能，显示出能效更高的优势。
-
提出了一种提高内存计算架构中BayNN鲁棒性和推断准确性的方法，改进幅度高达58.11%。
-
结合量化技术与自校正机制，开发了一种算法以最小性能损失表示原始网络的权重。
-
利用memory-immersed方案减少ADC硬件开销，提高并行性能和减少外部内存访问。
-
提出基于随机计算的二值神经网络，仿真实验表明其在硬件限制下节省了大量资源。
延伸问答
StoX-Net的主要创新点是什么？
StoX-Net提出了一种在内存计算硬件上训练ResNet类型卷积神经网络的方法，分类精度达到93.7%。
如何优化深度神经网络的性能？
通过在线优化减少训练成本和内存，降低量化误差和非理想误差，从而提高深度神经网络的性能。
随机计算在神经网络中的应用效果如何？
随机计算执行基于脉冲神经网络的Transformer模型的点积注意力机制，实现了高准确率和能源效率。
什么是Compute-In-Memory架构？
Compute-In-Memory架构是一种低成本的基于PMOS的8T SRAM设计，用于高效执行乘加操作。
如何提高BayNN的鲁棒性和推断准确性？
通过引入新型标准化层和随机仿射变换，BayNN的推断准确性提高了58.11%。
内存计算架构中如何减少硬件开销？
利用memory-immersed方案减少ADC硬件开销，提高并行性能和减少外部内存访问。
