基于 ReRAM 的 Transformer 语言模型的零空间成本容错技术
内容提要
该文综述了提升深度神经网络硬件可靠性的多种方案：差分映射与负载裁剪能以零额外成本容忍近一个数量级的故障率；贝叶斯优化与dropout可增强抗权重漂移能力；重设计、重训练等三种零成本方案可提高瞬态故障下的可靠性；FARe框架在故障ReRAM上仅增加约1%时间开销，并将GNN测试准确率提高47.6%；NeuralFuse通过学习输入变换将内存访问能耗降低2.7至5倍，同时提升57%的准确率；查找表故障感知量化能以低成本减少永久故障影响；权重重参数化可缩小Transformer编码器；模拟ReRAM跨栅矩阵运算具有更高能效。
延伸解读
零成本容错：从差分映射到负载裁剪
文章指出，差分映射方案结合负载裁剪技术，能在不增加硬件成本的前提下，让代表性DNN任务容忍接近一个数量级的故障率。这意味着对于ReRAM等易故障硬件，通过映射策略和负载调整即可显著提升可靠性，而无需额外硬件开销。读者可关注该方案对故障率的容忍上限及其在不同网络结构中的适用性。
故障感知框架FARe：低时间开销与高准确率提升
FARe框架针对故障ReRAM上的图神经网络训练，实验显示其仅增加约1%的时间开销，却能将GNN测试准确率提高47.6%。这表明在硬件存在故障时，通过故障感知的训练缓解策略，可以在几乎不影响训练速度的情况下大幅恢复模型性能。该结果对在不可靠硬件上部署GNN具有参考价值。
NeuralFuse：输入变换兼顾能耗与准确率
NeuralFuse模块通过学习输入变换生成抗错误的数据表示，无需重新训练模型即可将内存访问能耗降低2.7至5倍，同时提升57%的准确率。这一方法在廉价电压下平衡了DNN的性能与能耗，为低功耗场景下的模型部署提供了新思路。读者需注意其效果依赖于输入变换的学习质量，且未提及对更大规模模型的扩展性。
模拟ReRAM跨栅运算的能效优势
文章分析指出，使用模拟ReRAM跨栅执行关键矩阵操作，与数字ReRAM和SRAM设计相比具有更高能效，可作为进一步架构研究的基础。这提示在加速器设计中，模拟存内计算有望降低能耗，但文章未提供具体能效数值或与更多基线设计的对比，读者应结合其他研究评估其实际优势。
Q&A
差分映射方案如何提高ReRAM的容错性？
差分映射方案通过提高ReRAM的容错性，实现无需大规模优化的负载裁剪技术，从而在代表性DNN任务中容忍几乎高达一个数量级的故障率，且不需要额外的硬件成本。
贝叶斯优化如何提升深度神经网络的抗权重漂移能力？
使用贝叶斯优化来提高深度神经网络抗重量漂移性能，并使用dropout来提高网络的鲁棒性。实验结果表明该方法在各种任务（例如图像分类和目标检测）中优于现有技术。
FARe框架在故障ReRAM上的性能表现如何？
FARe框架在故障的ReRAM硬件上只增加约1%的时间开销，将GNN测试准确率提高47.6%，在准确性和时间开销方面优于现有方法。
NeuralFuse模块有什么作用和优势？
NeuralFuse通过学习输入变换以生成抗错误数据表示，无需重新训练模型即可在2.7-5倍降低内存访问能耗，同时提高57％的准确性。
如何以低成本减少深度神经网络加速器中的永久性故障影响？
通过使用基于查找表的算法，提出了一种新的故障感知量化技术，可以在基本不会有成本开销的情况下减少深度神经网络加速器内的永久性故障的影响，并提高精度，同时与故障感知训练方法相比降低了开销。
模拟ReRAM跨栅矩阵运算相比数字版本有何优势？
使用模拟电阻式存储器（ReRAM）跨栅执行关键矩阵操作以提高加速器性能，与使用数字ReRAM和SRAM操作的相关设计相比，该模拟加速器具有能效更高的优势，并且可以成为进一步架构研究的基础。
