进化受限玻尔兹曼机 - 科赫宁网络用于在线聚类
内容提要
该文综述受限玻尔兹曼机（RBM）在图像聚类、表情与动作识别、众包集成、在线贝叶斯推断、组合优化及网络聚类等任务中的应用，并提出引入局部空间交互、深度神经网络聚类、最优传输聚类及小世界网络约束RBM等改进方法。实验表明，这些方法在准确率、学习速度和适应性上优于传统算法。
延伸解读
RBM 在图像聚类中的优势
文章指出，使用受限玻尔兹曼机进行图像聚类时，通过训练通用 RBM 模型并适应每个测试图像的 RBM 模型，生成嵌入向量用于聚类，实验结果表明该方法优于 k-means、谱聚类和近似顺序排名算法。这提示 RBM 能够学习到更有效的图像表示，从而提升聚类性能。
局部空间交互的引入
文章提出在 RBM 的能量函数中引入另一项以显式建模输入数据中的局部空间交互作用，从而同时建模全局动态和局部空间交互。在面部表情识别和人体动作识别任务上的评估表明，改进的 RBM 模型在基准数据库上有效。这表明对于具有空间结构的数据，显式建模局部交互可能带来性能提升。
在线贝叶斯推断的高效性
文章介绍了一种高效的在线近似贝叶斯推断算法，用于从可能的非静态数据流中估计非线性函数参数。通过后验精度矩阵的低秩加对角线分解，每步成本与模型参数数量呈线性关系。与随机变分推断相比，该方法是完全确定性的，无需步长调整，实验显示学习速度更快，能更快适应分布变化，并在上下文强化学习中更快积累奖励。
网络聚类的理论极限与算法
文章研究了多层网络聚类的基本极限，在混合多层随机块模型下给出了最小极大网络聚类错误率，该率由组成网络边概率分布的 Renyi 散度描述。提出的两阶段网络聚类方法包括基于张量的初始化和基于似然的 Lloyd 算法，能达到最小极大错误率，并适用于极稀疏网络。数值模拟和实际数据实验证明了其优于现有方法。
Q&A
受限玻尔兹曼机（RBM）在图像聚类中是如何应用的？
通过训练通用RBM模型和适应每个测试图像的RBM模型，生成嵌入向量用于图像聚类任务，实验表明该方法优于k-means、谱聚类和近似顺序排名算法。
如何改进RBM以更好地建模局部空间交互？
在RBMs的能量函数中引入另一项以显式地建模输入数据中的局部空间交互作用，从而同时建模全局动态和本地空间交互作用。
RBM与众包集成学习有什么关系？
在Dawid和Skene模型下，假定所有分类器条件独立等价于具有单个隐藏节点的RBM。采用基于RBM的深度神经网络方法可以解决分类器强烈违反条件独立性假设的问题，实验表明该方法在模拟和实际数据集上表现优异。
在线近似贝叶斯推断算法如何利用RBM？
该算法用于从非静态数据流中估计非线性函数的参数，通过后验精度矩阵的低秩加对角线分解，使每步成本与模型参数数量呈线性关系。与随机变分推断相比，该方法是完全确定性的，不需要步长调整，学习速度更快，能更快适应不断变化的分布。
最优传输聚类方法相比软k-means有什么优势？
通过将k-means聚类重写为最优传输任务并加入熵正则化，嵌入由深度神经网络执行。与基于软k-means的最新方法相比，最优传输方法提供更好的无监督准确度，且不需要预训练阶段。
小世界网络约束的RBM模型有什么特点？
基于小世界和无标度网络拓扑结构的约束RBM模型能够大大减少权重数量，提高生成能力，而不增加计算成本。
RBM-EDA在组合优化问题中表现如何？
将生成性神经网络RBM集成到EDA中，实验发现RBM-EDA在解决组合优化问题时对于大规模或复杂问题具有更快的CPU时间，更少的建模时间，表明使用生成性神经网络用于组合优化具有潜在优势。
基于神经网络的端到端聚类框架有什么优点？
该框架可从原始数据中推动形成聚类，无需提前定义聚类中心，具有较好的性能且对聚类数量不敏感。
多层网络聚类的基本极限是什么？
在混合多层随机块模型下，最小极大网络聚类错误率采用指数形式，由组成网络的边概率分布的Renyi散度描述。提出的两阶段网络聚类方法（基于张量的初始化算法和基于似然的Lloyd算法）实现了该错误率，并允许极稀疏网络。
