少样本测试：使用贝叶斯测试向量估计记忆电阻深度神经网络的不确定性
内容提要
本文提出了一种利用memristive crossbars加速神经网络失效测试的一次性测试方案，旨在减少内存开销并提高覆盖率。研究探索了深度学习中的高效方法，结合新型神经网络拓扑和硬件协同设计，显著提升了异常数据检测和推理准确性。此外，介绍了基于自旋电子存储器的计算内存架构，展示了其在低功耗机器学习中的应用，取得了优异的训练准确率。
延伸解读
测试方案的核心创新
文章提出的一次性测试方案，仅需一个测试向量即可完成基于忆阻器交叉阵列的神经网络失效测试。这显著减少了测试向量数量和内存开销，同时提高了失效覆盖率。对于资源受限的安全关键系统，这种高效测试方法有助于提升神经网络的可靠性。
不确定性估计与硬件协同设计
研究结合了贝叶斯神经网络和自旋电子存储器计算内存架构，通过问题感知训练算法、新型拓扑和硬件协同设计来估计和降低不确定性。提出的比例Dropout正则化技术，在蒙特卡罗框架下有效估计不确定性，并实现超过100倍的能量节省，同时预测性能有1%的提升。
双头神经网络与并发自测试
文章提出一种双头神经网络拓扑，能在一次推理中同时产生不确定性指纹和主要预测结果，实现高覆盖率的并发自测试。这减少了内存开销并降低了错误率，为神经网络在线故障检测提供了新思路。
混合精度训练与鲁棒性增强
研究探索了使用模拟计算模块和数字系统的混合精度训练方案，在忆阻器计算存储内存模块上成功训练大型深度神经网络，并评估了抗硬件变化特性。此外，引入新型标准化层和随机仿射变换，提高了贝叶斯神经网络在内存计算架构中的鲁棒性和推断准确性，改进幅度高达58.11%。
Q&A
什么是memristive crossbars在神经网络中的应用？
memristive crossbars用于加速神经网络的失效测试，能够减少内存开销和测试向量数量，同时提高失效覆盖率。
如何提高神经网络的异常数据检测和推理准确性？
通过采用问题感知训练算法、新型神经网络拓扑结构和硬件协同设计，可以显著提高异常数据检测和推理准确性。
比例Dropout技术的作用是什么？
比例Dropout是一种新型正则化技术，用于有效估计不确定性，并在能量节省上取得显著效果。
双头神经网络拓扑结构的优势是什么？
双头神经网络拓扑结构能够在一次推理过程中产生不确定性指纹和主要预测结果，实现高覆盖率的并发自测试，减少内存开销，降低错误率。
自旋电子存储器在低功耗机器学习中的应用效果如何？
自旋电子存储器在低功耗机器学习中表现出优异的训练准确率，并实现了超过100倍的能量节省。
如何评估神经网络的抗硬件变化特性？
通过使用memristor-based计算存储内存模块进行混合精度训练，可以有效评估大型深度神经网络的抗硬件变化特性。
