单相对比赫布学习的两个故事
内容提要
该文综述多种类脑学习算法，探讨反向传播的生物学可信度，涵盖平衡传播、Hebbian学习、信息瓶颈规则等，旨在解决对称连接与双向信号问题。研究表明，无需精确对称权重，通过局部竞争、反馈对准等机制，深度网络性能可媲美反向传播，前馈与反馈权重对准对学习至关重要。
延伸解读
反向传播的生物学困境与替代路径
反向传播依赖精确的对称权重和双向信号传递，这与生物神经元的局部突触可塑性规则不符。文章综述的平衡传播、对比赫布学习等算法，试图在避免对称权重的前提下，通过局部竞争、反馈对准等机制实现深度网络学习，为理解大脑学习规则提供了计算模型。
前馈与反馈权重对准的关键作用
多项研究表明，即使前馈和反馈权重不完全对称，只要通过反馈对准法加强权重符号一致性，网络性能仍可媲美反向传播。这提示深度网络学习可能不要求精确的权重对称，而是依赖某种对准机制，这对设计生物可信的学习算法具有启发意义。
能量模型统一多种学习规则
基于能量的模型为预测编码、平衡传播和对比赫布学习等算法提供了统一理论框架。从自由相平衡这一数学特性出发，通过选择不同能量函数，可推导出一类逼近反向传播的算法，这有助于理解不同学习规则之间的内在联系。
Q&A
反向传播算法在生物学上为什么不可信？
反向传播算法需要精确对称的前向和后向突触权重，并且依赖双向信号传递，这与生物神经元的实际工作机制不符，因此其生物学可信度受到质疑。
平衡传播（Equilibrium Propagation）是如何工作的？
平衡传播是一种学习能量模型的框架，仅涉及一种神经计算，分两个阶段进行：第一阶段通过局部扰动使预测从初始配置微调到减少预测误差的配置；第二阶段向后传播的信号编码误差导数的梯度。
有哪些方法可以避免反向传播中对对称权重的依赖？
可以通过反馈权重与前馈权重分离、加强权重符号一致性的反馈对准法、以及基于局部竞争的无监督特征发现等机制来避免对称权重依赖，这些方法在权重不同的情况下性能仍与反向传播相当。
Hebbian学习如何用于训练深度网络？
一种方法是将反馈权重与前馈权重分离，使用Hebbian更新训练深度网络，即使权重不同，性能也与常规反向传播相当；另一种是利用局部竞争的无监督特征发现，学到的特征检测器可用于有监督训练更高层，整体性能媲美端到端反向传播。
信息瓶颈原理在学习规则中有什么应用？
基于信息瓶颈原理的学习规则结合了核方法，采用三要素的Hebbian结构，不需要精确标签，在图像分类任务上表现与反向传播算法接近。
前向和反馈权重对准为什么对深度网络学习至关重要？
研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的，通过加强权重符号一致性的反馈对准法修改，可以实现与反向传播法相当的性能。
