MOLE: 通过最大化互信息的模块化学习框架
原文中文，约300字，阅读约需1分钟。发表于：。该研究介绍了一种针对神经网络的异步和本地学习框架，名为模块化学习框架（MOLE）。该框架通过分层将神经网络模块化，并通过相互信息定义每个模块的训练目标，通过最大化相互信息顺序训练每个模块。MOLE 使训练成为模块之间梯度隔离的局部优化，这种方案比 BP 更符合生物学可行性。在矢量、网格和图形类型数据上进行了实验。特别是，该框架能够解决图形类型数据的图和节点级任务。因此，经实验证明，MOLE...
该文介绍了一种基于infomax原理的框架，用于大规模神经群体的无监督学习。该方法使用渐近方法计算大规模神经群体的信息论下限，并通过逐步靠近全局最优解来获得良好的初始值。基于该初始值，提出了一个高效的算法来学习输入数据集的特征表示。与现有方法相比，该算法在无监督表示学习的训练速度和鲁棒性方面具有明显优势，并可扩展到训练深层结构网络的监督或无监督模型。
