ARTEMIS：Transformer 神经网络的混合模拟 - 随机 In-DRAM 加速器
内容提要
本文介绍了TIMELY内存加速器，通过模拟数据局部性和时域接口提高能效，优于现有的R²PIM加速器。研究分析了使用模拟ReRAM进行矩阵操作的性能，提出的加速器在能效上具有优势。此外，AnalogNAS框架在TinyML任务中展示了高准确性，ITA架构实现了低功耗高效能的Transformer推理。
延伸解读
模拟存内计算在Transformer推理中的能效优势
文章指出，使用模拟ReRAM进行矩阵操作相比数字ReRAM和SRAM具有更高能效，TIMELY加速器通过模拟数据局部性和时域接口进一步提升了能效。这表明模拟存内计算在降低Transformer推理能耗方面具有潜力，但需注意其可能受模拟噪声和精度限制，实际部署需权衡能效与准确性。
数据排列策略对减少片外访问的实际效果
针对基于GEMM的Transformer模型，文章提出了一种内存数据排列策略，通过匹配硬件加速器内核大小来减少片外数据访问，在单核和多核系统中实现了高达2.8倍的速度提升。这一策略对终端到终端推理尤为有益，但实际收益可能受模型结构和硬件配置影响，需结合具体场景评估。
AnalogNAS与ITA：从设计自动化到高效推理
AnalogNAS框架能自动设计适用于模拟内存计算加速器的DNN，在TinyML任务上实现了比SOTA更高的准确性。ITA架构则通过8位量化和整数softmax，在嵌入式系统上达到16.9 TOPS/W的能效和5.93 TOPS/mm²的面积效率。两者分别从设计自动化和架构优化角度推动了Transformer在边缘设备上的高效部署。
Q&A
TIMELY内存加速器的主要优势是什么？
TIMELY内存加速器通过模拟数据局部性和时域接口提高能效，优于现有的R²PIM加速器。
如何通过TIMELY加速器实现速度提升？
通过提出的新颖内存数据排列策略，TIMELY加速器能够实现高达2.8倍的速度提升，特别适用于基于广义矩阵乘法的变压器模型推理。
AnalogNAS框架在TinyML任务中的表现如何？
AnalogNAS框架在TinyML任务中展示了高准确性，并在64核IMC芯片上实现了更高的模型准确性。
ITA架构的能效表现如何？
ITA架构在能效上达到16.9 TOPS/W，面积效率为5.93 TOPS/mm²，表现出低功耗高效能的特点。
TIMELY加速器如何提高矩阵操作的性能？
TIMELY加速器通过使用模拟ReRAM进行关键矩阵操作，显示出比数字ReRAM和SRAM操作更高的能效。
TIMELY加速器的设计理念是什么？
TIMELY加速器的设计理念是通过模拟数据局部性和时域接口来最大化能效，并优化计算密度和吞吐量。
