PENDRAM:通过通用 DRAM 数据映射策略实现深度神经网络的高性能和能量效率处理

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

本文介绍了针对深度神经网络(DNN)优化的硬件架构和算法,如NicePIM、TIMELY和DDC-PIM,旨在提高能效、降低延迟和能耗。这些方案在性能和资源利用上优于传统方法,促进了深度学习在边缘设备和数据中心的应用。

🔎

延伸解读

DRAM-PIM 优化:NicePIM 的映射策略

NicePIM 针对 DRAM-PIM 加速器,通过 PIM-Tuner、PIM-Mapper 和 Data-Scheduler 三个组件协同优化硬件配置与 DNN 映射。实验表明,该方法能生成低时延、低能耗的映射方案,优于基准。这提示读者,在存内计算系统中,映射策略与硬件调优同样关键,需协同设计才能释放潜力。

能效突破:TIMELY 与 ReRAM 模拟计算

TIMELY 利用模拟数据局部性和时域接口,仅需一次输入读取,在能效、计算密度和吞吐量上超越 R²PIM。类似地,模拟 ReRAM 跨栅执行矩阵操作也比数字版本更节能。这些方案表明,模拟计算与数据复用是提升 PIM 能效的重要方向,但需注意其适用场景和精度约束。

边缘训练与量化:CAMEL 和混合量化

CAMEL 使用 eDRAM 作为训练数据存储,通过可逆 DNN 架构避免刷新,降低边缘设备训练能耗。混合量化方案则通过多目标优化平衡精度、能耗和内存,节省高达 37% 能量。两者都针对资源受限场景,但 CAMEL 侧重训练,量化侧重推理,读者可根据任务阶段选择。

算法-架构协同:DDC-PIM 与 ODiMO

DDC-PIM 通过最大化 SRAM 单元数据容量,在 MobileNetV2 和 EfficientNet-B0 上实现 2.84 倍和 2.69 倍加速,且无精度损失。ODiMO 则作为硬件感知工具,精细映射不同加速器,在边缘 SoC 上降低能量 33%、延迟 31%,精度仅下降约 0.5%。这显示协同设计能显著提升效率,但需权衡精度与资源。

❓

Q&A

NicePIM 的主要功能是什么?

NicePIM 是一种针对 DRAM-PIM 加速器的硬件架构,旨在优化 DNN 映射,降低时延和能耗。

TIMELY 如何提高能效?

TIMELY 通过模拟数据局部性和时域接口,采用仅一次输入读取的映射方法,显著提高能效。

DDC-PIM 的优势是什么?

DDC-PIM 通过最大化 SRAM 单元的数据容量,实现 MobileNetV2 和 EfficientNet-B0 的显著加速,且无明显准确度损失。

ODiMO 是什么,它的作用是什么?

ODiMO 是一种硬件感知工具,用于精细映射不同加速器,以降低 DNN 推理的能量消耗或延迟。

如何通过混合量化方案平衡 CNN 的能效和内存占用?

混合量化方案可以优化权重量化策略,从而在精度、能耗和内存要求之间实现更好的平衡,节省高达 37% 的能量。

使用 eDRAM 作为训练数据存储介质的好处是什么?

使用 eDRAM 可以减少 DNN 训练的能耗,并在验证精度上实现类似或更好的性能。

🏷️

标签

➡️

继续阅读