MOLE: 通过最大化互信息的模块化学习框架

该文介绍了一种基于infomax原理的框架，用于大规模神经群体的无监督学习。该方法使用渐近方法计算大规模神经群体的信息论下限，并通过逐步靠近全局最优解来获得良好的初始值。基于该初始值，提出了一个高效的算法来学习输入数据集的特征表示。与现有方法相比，该算法在无监督表示学习的训练速度和鲁棒性方面具有明显优势，并可扩展到训练深层结构网络的监督或无监督模型。