通过 Ising 模型对领域感知因子分解机进行 L0 正则化
内容提要
该文汇总多项机器学习研究，涵盖点击率与转化率实时预测、高维马尔可夫随机场模型选择、矩阵分解隐式正则化、Ising模型图估计、均场近似、时空数据预测、因子机改进及铁磁Ising模型自由能极限，提出多种算法并验证其有效性。
延伸解读
研究主题的多样性
文章汇总了多项机器学习研究，时间跨度从2008年到2023年，涵盖点击率预测、高维马尔可夫随机场模型选择、矩阵分解隐式正则化、Ising模型图估计、均场近似、时空数据预测、因子机改进及铁磁Ising模型自由能极限等。这些研究虽同属机器学习领域，但具体问题和方法差异较大，读者需注意区分不同工作的背景和贡献。
因子分解机的发展脉络
文章提及了因子分解机（FM）的多个改进工作：2017年基于领域的分解机用于实时预测显示广告点击率和转化率；2021年的FmFM支持字段特定变量维度的嵌入向量，并优于FFM和DNN；2019年的LMLFM则考虑复杂相关性和非线性交互，用于长期数据预测。这些工作展示了FM模型在特征交互建模上的持续演进。
隐式正则化的理论进展
文章包含两项关于梯度下降隐式正则化的研究：2017年证明在矩阵因式分解中，合适步长和接近原点的初始值可使梯度下降收敛到最小核范数解；2019年进一步探讨深度矩阵分解中隐式正则化对低秩解的影响，发现深度增强低秩倾向，并指出标准正则化数学符号可能不足以完全涵盖其机制。这些发现对理解优化算法的隐式偏好有重要意义。
Ising模型相关研究
文章涉及多个Ising模型研究：2010年提出基于logistic回归的图估计方法，分析高维表现并给出充分条件；2018年提供均场近似上下界并推广到高阶马尔可夫随机场，研究自由能估计算法；2008年研究局部收敛于树的图上铁磁Ising模型，证明自由能极限预测和局部边际近似。这些工作共同推进了Ising模型的理论与算法。
Q&A
什么是基于领域的分解机，它在实时预测系统中有什么应用？
基于领域的分解机是一种用于预测显示广告中用户点击率和转化率的方法，该系统采用实时预测，并取得了良好的预测效果。
Lasso惩罚的Monte Carlo极大似然方法用于解决什么问题？
该方法用于高维二元马尔可夫随机场的模型选择问题，并证明了算法的正确性和有效性。
梯度下降法在矩阵因式分解中如何实现隐式正则化？
通过使用合适的步长和接近原点的初始值，梯度下降法可以收敛到最小核范数解，实现隐式正则化。
深度矩阵分解对低秩解有什么影响？
深度矩阵分解的梯度下降隐式正则化会增强对低秩解的倾向，表明标准正则化的数学符号语言可能不足以完全涵盖其机制。
如何估计二元Ising马尔可夫随机场的图结构？
可以使用基于logistic回归的方法来估计图，并分析其在高维情况下的表现，提出充分条件以同时一致估计每个节点的邻域。
均场近似在Ising模型和马尔可夫随机场中有什么新进展？
提供了新的较优KL误差的均场近似上下界，并推广到高阶马尔可夫随机场，结合组合数学和优化技术，研究了估计自由能的算法问题。
Field-matrixed Factorization Machines (FmFM) 有什么特点？
FmFM是一种有效建模字段信息的方法，支持字段特定变量维度的嵌入向量，并通过缓存中间向量优化模型，实验显示其优于FFM和DNN模型。
LMLFM模型在预测中有什么优势？
LMLFM是第一个考虑数据复杂相关性和非线性交互作用的多层因子机，能从长期数据中学习预测模型并选择最具预测性的固定效应和随机效应，在预测准确性、变量选择和规模上均优于现有方法。
铁磁Ising模型在局部收敛于树的图上的自由能极限如何？
通过证明原始图上的玻尔兹曼分布局部收敛于适当无限随机树上的玻尔兹曼分布，并迭代平均场方程，证明了在任何正温度和外部场中都能预测自由能的极限，同时局部边际分布可以近似。
