内容提要
清华大学的光电智能技术交叉创新团队在Nature上发表了一篇关于光计算训练的论文。他们开发了一种全前向模式(FFM)学习方法,通过光的前向传播来训练光神经网络,避免了光学系统建模的限制。研究表明,使用FFM学习可以达到与理想模型相当的准确率。此外,该方法还支持全光学聚焦和超灵敏感知,并可以在室温下进行光处理。研究团队还推出了"太极-II"光训练芯片,其计算能力比英伟达H100的1000倍。
延伸解读
光计算训练瓶颈与FFM突破
光神经网络训练长期依赖基于数据的光学系统建模,但实验误差和光传播复杂性导致离线模型难以完美同步,梯度下降和反向传播在光学领域效果不佳。清华团队利用光子传播对称性,提出全前向模式(FFM)学习,将前向与反向传播等效为光的前向传播,无需精确建模即可直接在物理系统上优化参数,减轻了AI对光学系统建模的依赖。
FFM在深度ONN中的准确率提升
在Fashion-MNIST分类任务中,传统计算机训练的多层ONN实验准确率随层数增加而下降,2至8层仅为44.0%至58.8%,远低于理论值。采用FFM学习后,准确率分别提升至86.5%、91.0%、92.3%和92.5%,接近理想计算机准确率。这表明FFM能有效修正实验误差,使深度光神经网络在实际系统中保持高性能。
全光学成像与处理能力
FFM支持通过散射介质进行全光学聚焦,分辨率达衍射极限,并能以千赫兹帧率对隐藏物体成像,在室温下处理亚光子级光强。与粒子群优化相比,FFM基于梯度的方法收敛更快,25次迭代即可达到更低损耗,而PSO需至少400次。FFM还能自动搜索非厄米异常点,推动超灵敏感知和拓扑光学发展。
太极-II芯片与集成光系统自设计
FFM可推广至集成光系统自设计,在鸢尾花分类实验中,实验梯度与模拟值平均偏差仅3.5%,网络收敛准确率与理想模拟相似,远高于计算机设计的实验准确率。基于该成果,团队推出“太极-II”光训练芯片,其计算能力比英伟达H100高1000倍,能效显著,展示了光计算在算力和能效上的潜力。
Q&A
全前向模式(FFM)学习方法的主要优势是什么?
FFM学习方法通过光的前向传播训练光神经网络,避免了光学系统建模的限制,能够达到与理想模型相当的准确率。
清华大学的研究团队在光计算领域取得了哪些突破?
研究团队开发了全前向模式(FFM)学习方法,并推出了计算能力比英伟达H100高1000倍的'太极-II'光训练芯片。
FFM学习如何解决光神经网络训练中的瓶颈问题?
FFM学习通过光的前向传播等效于神经网络的前向与反向传播,减轻了对光学系统建模的依赖,从而解决了训练中的瓶颈问题。
太极-II光训练芯片的计算能力如何与现有技术比较?
太极-II光训练芯片的计算能力比英伟达H100高1000倍,显示出其在光计算领域的显著优势。
FFM学习在实际应用中有哪些潜在的影响?
FFM学习可以推动深度神经网络、超灵敏感知和拓扑光学等领域的发展,具有广泛的应用潜力。
FFM学习在多层光神经网络中的表现如何?
在多层光神经网络中,FFM学习显著提升了准确率,接近理想计算机的准确率。