StoX-Net：用于高效内存计算的随机处理部分和的 DNN 加速器
内容提要
本文介绍了一种在内存计算硬件上训练卷积神经网络的方法，提出了基于批标准化的补偿技术，分类精度达到93.7%。研究了非理想误差的优化，提升了深度神经网络的性能，并探讨了基于随机计算的神经网络架构，展示了在硬件限制下的高效性和节能效果。
延伸解读
内存计算硬件上的训练挑战与突破
文章指出，将训练好的浮点模型映射到硬件约束的模拟架构仍是一大挑战。为此，研究者提出了基于批标准化参数的补偿技术，在相变存储器（PCM）上实现了CIFAR-10数据集93.7%的分类精度和ImageNet基准71.6%的top-1精度。这表明通过算法与硬件的协同设计，可以有效缓解非理想误差，推动内存计算在实际任务中的落地。
随机计算在神经网络加速中的多样化应用
随机计算被用于多个方向：执行脉冲神经网络Transformer的点积注意力机制，实现高准确率和能源效率；设计深度卷积神经网络并优化内积、池化等组件；以及构建二值神经网络，在Fashion-MNIST和CIFAR-10上接近常规性能，同时显著节省面积和能耗。这些案例展示了随机计算在硬件限制下实现高效、可扩展和节能加速的潜力。
模拟与数字内存计算的能效对比
文章对比了使用模拟电阻式存储器（ReRAM）交叉阵列与数字ReRAM和SRAM执行矩阵操作的效果。结果显示，模拟加速器在能效上更具优势，并且可以作为进一步架构研究的基础。此外，基于PMOS的8T SRAM内存计算架构利用位线电荷共享和模拟计算，高效执行4位输入激活与8位权重的乘加操作，为低功耗边缘计算提供了可行方案。
提升鲁棒性与降低硬件开销的技术路径
针对内存计算架构中贝叶斯神经网络（BayNN）的鲁棒性和推断准确性问题，文章提出引入新型标准化层和随机仿射变换，使推断准确性优雅降级，改进幅度高达58.11%。同时，采用memory-immersed方案减少ADC硬件开销，提高并行性能并减少外部内存访问。这些技术共同推动了内存计算在资源受限环境下的实用化。
Q&A
StoX-Net的主要创新点是什么？
StoX-Net提出了一种在内存计算硬件上训练ResNet类型卷积神经网络的方法，分类精度达到93.7%。
如何优化深度神经网络的性能？
通过在线优化减少训练成本和内存，降低量化误差和非理想误差，从而提高深度神经网络的性能。
随机计算在神经网络中的应用效果如何？
随机计算执行基于脉冲神经网络的Transformer模型的点积注意力机制，实现了高准确率和能源效率。
什么是Compute-In-Memory架构？
Compute-In-Memory架构是一种低成本的基于PMOS的8T SRAM设计，用于高效执行乘加操作。
如何提高BayNN的鲁棒性和推断准确性？
通过引入新型标准化层和随机仿射变换，BayNN的推断准确性提高了58.11%。
内存计算架构中如何减少硬件开销？
利用memory-immersed方案减少ADC硬件开销，提高并行性能和减少外部内存访问。
