ClipFormer：用于减轻写入噪声的记忆电阻交叉栅架上的 Transformer 键值剪裁
内容提要
该文综述了多项研究：通过在线优化减少模拟交叉开关误差以提升深度神经网络性能；MCUFormer在微控制器上部署视觉变换器，准确率达73.62%；Compute-ACAM结构降低Transformer能耗；内存计算硬件训练ResNet，CIFAR-10精度达93.7%；CXV混合架构减少GPU使用；混合精度训练方案；缓存优化加速Transformer；视频实例分割端到端方案；MemSizer提升效率；忆阻器框架实现高压缩比量化。
延伸解读
模拟交叉开关误差的在线优化思路
文章指出模拟交叉开关存在非理想误差，可通过在线优化进行微调。这种方法旨在减少训练成本和内存占用，同时降低量化误差与非理想误差，从而提升深度神经网络的性能。对于关注存内计算硬件落地的读者，这提示误差补偿不必完全依赖离线校准，在线微调可能是一条兼顾精度与开销的路径。
MCUFormer在微控制器上的部署策略
MCUFormer面向内存极度有限的微控制器部署视觉变换器，通过考虑降维尺寸和补丁分辨率扩展搜索空间，并采用操作符集成、补丁嵌入分解和令牌覆写构建推理操作库。实验在STM32F746上以320KB内存实现ImageNet分类73.62%的Top-1准确率，说明通过算法与硬件协同优化，视觉变换器在边缘设备上具有可行性。
内存计算硬件训练ResNet的精度表现
文章介绍了一种在内存计算硬件上训练ResNet类型卷积神经网络的方法，并提出基于批标准化参数的补偿技术。映射到PCM后，该方法在CIFAR-10数据集上达到93.7%的分类精度，在ImageNet基准测试上达到71.6%的top-1精度。这表明补偿技术有助于缓解硬件非理想特性对训练精度的影响，为存内计算训练提供了可参考的精度数据。
线性注意力与混合精度训练的硬件适配
CXV混合架构用线性注意力机制替代二次注意力，以减少GPU使用，在有限数据和GPU资源下比Token mixers、变换模型及ResNets更适用于图像分类。同时，文章提到使用模拟计算模块和数字系统的混合精度训练方案，采用memristor-based计算存储内存模块，成功实现大型深度神经网络的有效训练，并评估了模型的抗硬件变化特性。这两项工作分别从算法和训练精度层面回应了硬件资源约束。
Q&A
ClipFormer 的主要目标是什么？
ClipFormer 旨在减轻写入噪声对记忆电阻交叉栅架的影响，通过 Transformer 键值剪裁来优化性能。
MCUFormer 在微控制器上部署视觉变换器时取得了什么成果？
MCUFormer 在 STM32F746 微控制器上实现了 320KB 内存的 ImageNet 图像分类任务的 73.62% 的 Top-1 准确率。
Compute-ACAM 结构如何提升 Transformer 的性能？
Compute-ACAM 结构通过在模拟域内高效执行 Transformer 模型中的所有操作，并使用模拟输入和数字输出，从而降低能耗并提高性能。
在内存计算硬件上训练 ResNet 类型卷积神经网络时，采用了什么补偿技术？
采用了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7% 的 CIFAR-10 数据集和 71.6% 的 ImageNet 基准测试的 top-1 精度。
CXV 混合架构相比其他架构有什么优势？
CXV 在有限的数据和 GPU 资源场景下，比 Token mixers、变换模型以及 ResNets 等更适用于图像分类任务，因为它通过线性注意力机制减少了 GPU 使用。
MemSizer 方法在哪些任务中提高了效率和准确性？
MemSizer 在机器翻译、文本摘要和语言建模三个应用任务中提高了效率和准确性。
