在_memristor交叉阵列上实现大型语言模型的能源高效部署:大与小的协同
💡
原文中文,约500字,阅读约需2分钟。
📝
内容提要
本研究提出了一种结合忆阻器和忆容器交叉阵列的深度神经网络设计框架,使用Python和PyTorch实现。在8层VGG网络上,CIFAR-10数据集的训练准确率达到90.02%和91.03%。通过运算跨导放大器和电容器模拟忆感器设备,功耗为0.337 mW,并在神经形态电路中验证,训练和测试准确率分别为91.04%和88.82%。研究展示了高效机器学习硬件的潜力。
🎯
关键要点
-
本研究提出了一种结合忆阻器和忆容器交叉阵列的深度神经网络设计框架。
-
该模型使用Python和PyTorch实现,考虑了各种非理想因素。
-
在8层VGG网络上,CIFAR-10数据集的训练准确率分别达到90.02%和91.03%。
-
引入了一种使用运算跨导放大器和电容器模拟忆感器设备的新方法,展示了可调节的行为。
-
在60 MHz下,180 nm CMOS技术的晶体管级仿真表明功耗为0.337 mW。
-
在神经形态电路和CNN加速器中验证,训练和测试准确率分别为91.04%和88.82%。
-
仅使用MOS晶体管确保了单片IC制造的可行性。
-
研究为探索高效和高性能的机器学习应用的先进硬件解决方案作出了重大贡献。
➡️