清华光学AI登Nature!物理神经网络,反向传播不需要了
内容提要
清华大学的研究人员在Nature杂志上发表了一篇关于使用光学系统进行神经网络训练的论文。他们提出了一种全前向模式(FFM)的训练方法,通过光学系统直接执行训练过程,克服了传统基于数字计算机模拟的限制。研究人员通过实验证明,FFM方法具有高准确率、高分辨率的聚焦能力,并且可以在散射介质中实现并行成像视线之外的物体。此外,FFM方法还可以自动搜索非厄米特系统中的异常点。
延伸解读
FFM如何绕开反向传播
传统神经网络训练依赖反向传播,需从输出层逐层回传误差。但物理光学系统难以精确建模,反向传播难以直接应用。FFM利用光学系统的空间对称互易性,让前向传播和误差计算共享同一物理过程,从而在现场直接计算梯度并更新参数。这相当于用光本身完成学习,省去了数字模拟的建模环节,降低了模型不准确带来的风险。
实验验证:准确率与成像能力
在自由空间光学神经网络上,FFM训练后的网络在MNIST数据集上实验光场与理论光场相似度超过0.97;在Fashion-MNIST上,8层网络准确率达92.5%,接近理论值。在散射介质聚焦任务中,FFM仅需25次迭代即可收敛,远快于PSO的400次,且聚焦尺寸接近64.5微米的衍射极限。这些结果说明FFM在分类和成像任务中均能保持高性能。
非视距成像与集成光子扩展
FFM还能用于非视距场景,通过设计输入波前并行恢复隐藏物体。实验中,对字母“T”“H”“U”的恢复结构相似性达1.0,且在低光子条件下优于人工神经网络。此外,FFM可扩展到集成光子系统,自动搜索非厄米特系统的异常点。在三种对称比例配置下,FFM设计的网络分类准确率与理论值接近,而传统计算机模拟方法准确率明显较低。
Q&A
全前向模式(FFM)训练方法的主要优势是什么?
FFM方法减少了对数学模型的依赖,节省了时间和能耗,并允许系统直接使用实验数据进行学习和优化。
FFM如何在复杂散射环境中实现高分辨率成像?
FFM利用光波在散射介质中的对称性,通过优化光波的传播路径和相位,减少散射效应对聚焦的影响。
FFM方法如何替代传统的反向传播算法?
FFM方法通过直接从前向后更新网络参数,省去了反向传播的步骤,允许光学系统自学并优化自身设置。
FFM在非视距场景中的应用效果如何?
FFM能够通过全光学方式重建和分析隐藏物体,表现优于人工神经网络,尤其在低光子条件下。
FFM方法在集成光子系统中的应用前景如何?
FFM方法可扩展到集成光子系统,能够自我设计并自动搜索非厄米特系统中的异常点,显示出良好的分类准确度。
FFM方法在训练神经网络时的准确率如何?
使用FFM方法的光学神经网络在实验中实现了接近理论值的高准确率,特别是在多层网络中表现优异。