ClipFormer:用于减轻写入噪声的记忆电阻交叉栅架上的 Transformer 键值剪裁
原文中文,约300字,阅读约需1分钟。发表于: 。通过 ClipFormer 改进模型,可以在具有非理想电流操作的交叉栏上提高预训练 Vision Transformers 的准确性。
本文介绍了一种名为MCUFormer的硬件算法协同优化方法,用于在内存有限的微控制器上实现图像分类任务。该方法通过考虑降维尺寸和补丁分辨率来扩展搜索空间,并通过操作符集成、补丁嵌入分解和令牌覆写等方法构建推理操作库。实验结果表明,在STM32F746微控制器上,MCUFormer实现了320KB内存的ImageNet图像分类任务的73.62%的Top-1准确率。