内容提要
宾夕法尼亚大学研究人员设计了一种类似神经网络的低功耗电路,可以学习非线性回归等任务。该电路由晶体管组成的虚拟可变电阻器网络,通过耦合学习调整电阻器的值进行学习。研究人员发现该电路可以学习非线性函数,具有可扩展性和鲁棒性,适用于边缘系统。
延伸解读
无处理器学习的原理与优势
该电路由晶体管构成的虚拟可变电阻器网络组成,通过耦合学习调整电阻值来学习。训练时,两个相同的MOSFET网络通过电容器连接,电压更新对应神经网络的权重。由于是物理系统且所有元件并行更新,训练步长不随网络规模增长,推理速度快且功耗低,每个晶体管仅耗散皮焦耳能量。
可扩展性与鲁棒性表现
研究表明,该电路能学习非线性函数,如XOR和非线性回归,暗示更大网络可逼近任意函数。系统对损坏具有鲁棒性,可在几秒内重新训练,并在微秒内执行学习任务。这些特性使其适用于边缘系统,如传感器、机器人控制器和医疗设备,并具备大规模制造潜力。
待解决的问题与挑战
研究人员指出,尚需解决网络拓扑的最优选择问题,原型使用的方形晶格拓扑可能过于简单和稀疏。此外,系统规模增长对训练时间和功耗的影响仍需研究。讨论中还提到,如何维持电容器上的电荷以防止权重漂移是一个重要问题,实际实现需要持续刷新电荷。
硬件机器学习的历史背景
硬件中的机器学习历史悠久,可追溯到1957年Frank Rosenblatt发明的原始感知机。最近,MIT的研究团队也开发了类似的低功耗模拟深度学习系统,使用可编程电阻器实现快速、低功耗的神经网络。宾夕法尼亚大学的研究在这一脉络中提供了新的无处理器学习方案。
Q&A
宾夕法尼亚大学的研究人员开发了什么类型的电路?
他们开发了一种类似神经网络的低功耗电路,可以学习非线性回归等任务。
该电路是如何进行学习的?
该电路通过耦合学习调整虚拟可变电阻器的值进行学习。
这种电路的优势是什么?
该电路具有可扩展性和鲁棒性,适用于边缘系统,且能快速推理,功耗低。
电路在训练过程中是如何工作的?
训练时,两个相同的MOSFET晶体管网络通过电容器连接,电压更新对应神经网络的权重。
研究人员提到的需要解决的问题有哪些?
需要解决网络拓扑的最优选择和系统规模增长对训练时间和功耗的影响等问题。
这种电路的潜在应用领域是什么?
该电路适用于传感器、机器人控制器和医疗设备等边缘系统。