少样本测试:使用贝叶斯测试向量估计记忆电阻深度神经网络的不确定性
内容提要
本文提出了一种利用memristive crossbars加速神经网络失效测试的一次性测试方案,旨在减少内存开销并提高覆盖率。研究探索了深度学习中的高效方法,结合新型神经网络拓扑和硬件协同设计,显著提升了异常数据检测和推理准确性。此外,介绍了基于自旋电子存储器的计算内存架构,展示了其在低功耗机器学习中的应用,取得了优异的训练准确率。
关键要点
-
提出了一种一次性测试方案,利用memristive crossbars加速神经网络的失效测试,减少内存开销和测试向量数量,提高失效覆盖率。
-
研究探索了深度学习中的高效方法,包括计算内存和新型神经网络拓扑,显著提升异常数据检测和推理准确性。
-
介绍了基于自旋电子存储器的计算内存架构,展示其在低功耗机器学习中的应用,取得了优异的训练准确率。
-
提出了一种双头神经网络拓扑结构,实现高覆盖率的并发自测试神经网络,减少内存开销,降低错误率。
-
引入了一种新型的正则化技术——比例Dropout,用于有效估计不确定性,并在能量节省上取得显著效果。
延伸问答
什么是memristive crossbars在神经网络中的应用?
memristive crossbars用于加速神经网络的失效测试,能够减少内存开销和测试向量数量,同时提高失效覆盖率。
如何提高神经网络的异常数据检测和推理准确性?
通过采用问题感知训练算法、新型神经网络拓扑结构和硬件协同设计,可以显著提高异常数据检测和推理准确性。
比例Dropout技术的作用是什么?
比例Dropout是一种新型正则化技术,用于有效估计不确定性,并在能量节省上取得显著效果。
双头神经网络拓扑结构的优势是什么?
双头神经网络拓扑结构能够在一次推理过程中产生不确定性指纹和主要预测结果,实现高覆盖率的并发自测试,减少内存开销,降低错误率。
自旋电子存储器在低功耗机器学习中的应用效果如何?
自旋电子存储器在低功耗机器学习中表现出优异的训练准确率,并实现了超过100倍的能量节省。
如何评估神经网络的抗硬件变化特性?
通过使用memristor-based计算存储内存模块进行混合精度训练,可以有效评估大型深度神经网络的抗硬件变化特性。