使用目标能量的比率散度学习:超越Kullback-Leibler散度学习的限制玻尔兹曼机
原文中文,约400字,阅读约需1分钟。发表于: 。本研究针对离散能量模型的学习问题,引入比率散度(RD)学习方法,通过结合训练数据和可处理的目标能量函数来解决转发和反向Kullback-Leibler散度学习中的不足。实验结果表明,RD学习在能量函数拟合、模式覆盖和学习稳定性方面显著优于其他方法,尤其是在目标模型维度增大时,表现差距更加明显。
通过研究Restricted Boltzmann Machine(RBM)中的特征编码过程,揭示了与经验概率分布的主要模式的渐进学习相关的一系列相变现象。验证了学习确实导致了在高维极限下的尖锐相变,并提出了一个均场有限尺度缩放假设。