面向计算内存硬件的深度神经网络架构和配置的联合优化
内容提要
该文综述存内计算（CiM）用于机器学习推断的研究。通过架构与算法协同设计，可显著提升能效与性能，如INT-8精度能耗降至0.12倍、性能增益达4倍；NACIM框架能效达16.3 TOPs/W，并降低设备变异影响76.44%。研究还涵盖混合精度训练、最坏情况感知训练及基于PCM、RTM等硬件的ResNet训练方法，实现高精度与高能效。
延伸解读
架构与算法协同设计的关键作用
文章强调，存内计算（CiM）用于机器学习推断时，架构与算法的协同设计能显著提升能效与性能。例如，INT-8精度下能耗可降至0.12倍，性能增益达4倍。这表明单纯优化硬件或算法可能无法达到最佳效果，需要跨层联合优化。
设备变异对CiM加速器的影响与应对
设备变异是CiM硬件面临的重要挑战。文章提到NACIM框架通过跨层设计，在存在设备变异的情况下，能效高达16.3 TOPs/W，并降低变异影响76.44%。此外，A-TRICE技术通过对抗训练和噪声注入，提升了最坏情况下的DNN准确性。
混合精度训练与硬件补偿技术
文章探讨了混合精度训练方案，使用memristor-based计算存储内存模块，成功训练大型深度神经网络，并评估了抗硬件变化特性。同时，基于批标准化参数的补偿技术，在PCM上实现了CIFAR-10 93.7%和ImageNet 71.6%的top-1精度。
不同硬件平台的能效表现
文章提及多种CiM硬件实现，如基于PCM、RTM等。NeuroCluster方案在深度卷积神经网络上实现了平均240 GFLOPS性能和22.5 GFLOPS/W能效。这些案例展示了CiM在不同硬件平台上的能效潜力，但具体适用场景需进一步分析。
Q&A
计算内存（CiM）技术用于机器学习推断能带来哪些能效和性能提升？
使用CiM架构可以提高能源效率，达到低至以INT-8精度0.12倍的能源消耗，并在重复权重交错技术下实现最高4倍的性能增益。
NACIM框架是什么？它有什么特点？
NACIM是一个跨层设计的框架，将计算在内存中的架构和硬件设计相结合，同时考虑设备差异和电路拓扑，旨在找到具有高网络精度和最大化硬件效率的最有效神经架构。在存在设备变异的情况下准确率损失最小，能效高达16.3 TOPs/W，相比不考虑设备变异的现有架构，NACIM能够降低76.44%的影响。
如何利用赛道存储器（RTM）实现ResNet-18的高能效？
基于赛道存储器（RTM）实现的关联处理器（APs）和三值权重神经网络的算法优化结合的新型编译流路，可显著提高ResNet-18在ImageNet上的能效，同时保持软件准确性。
A-TRICE是什么？它如何改善DNN的最坏情况准确性？
A-TRICE是一种新型最坏情况感知训练技术，用于确定受设备变异影响的CiM DNN加速器的最坏情况性能。它通过对抗训练和噪声注入训练有效地改进最坏情况下的DNN准确性。
在内存计算硬件上训练ResNet类型CNN的方法和效果如何？
介绍了一种在内存计算硬件上训练ResNet类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到PCM后实现分类精度高达93.7%的CIFAR-10数据集和71.6%的ImageNet基准测试的top-1精度。
NeuroCluster是什么？它的性能如何？
NeuroCluster是一种基于高带宽内存和处理器内存的柔性解决方案，可用于深度卷积神经网络的可扩展和节能执行，并实现了最好的能源效率，平均性能为240 GFLOPS，能源效率为22.5 GFLOPS/W。
