FM 类模型
内容提要
本文介绍了多种CTR预估和推荐系统中的因子分解机（FM）模型，包括Poly2、FM、FFM、NFM、AFM、PNN、DeepFM和DCN等。讨论了线性模型的局限性，以及通过引入多项式模型和深度学习方法来提升特征组合学习能力，解决稀疏特征问题。简要概述了各模型的架构和公式，强调了它们在特征学习和计算复杂度上的优缺点。
延伸解读
从线性到非线性：特征组合的演进
线性模型表达能力有限，难以捕捉特征间的非线性关系。Poly2通过为每一对特征组合学习权重来引入二阶组合，但参数数量随特征数平方增长，且稀疏数据下许多组合权重难以学习。FM将组合权重分解为隐向量内积，大幅减少参数并支持高效计算，成为CTR预估的经典方法。FFM进一步引入Field概念，使特征在不同域下有不同的向量表示，提升了模型表达能力。
深度学习与FM的融合：NFM、AFM与PNN
NFM通过Bi-Interaction Layer将嵌入向量两两点乘后池化，再输入MLP，从而在FM基础上引入非线性。AFM在NFM基础上加入Attention机制，为不同特征组合分配不同权重，突出重要组合。PNN则采用外积等不同组合方式，探索更丰富的特征交互。这些模型均基于Embedding技术，能缓解稀疏问题，但结构复杂度和计算开销也相应增加。
DeepFM与DCN：低阶与高阶特征的联合学习
DeepFM并行结合FM和DNN，FM负责低阶特征组合，DNN负责高阶组合，无需人工特征工程。DCN则通过Cross Network显式学习高阶组合特征，其复杂度与输入维度呈线性关系，计算高效。但Cross Network参数较少，表达能力受限，因此并行引入Deep Network。两者均表明，联合低阶与高阶特征能提升CTR预估效果，但需注意过拟合和训练难度。
Q&A
因子分解机（FM）模型的主要应用是什么？
因子分解机（FM）模型主要用于CTR预估和推荐系统。
线性模型在特征学习中存在哪些局限性？
线性模型的表达能力有限，无法有效处理非线性特征。
FFM模型与FM模型有什么主要区别？
FFM模型去掉了特征维度的限制，更加适用于CTR预估，而FM模型则受到特征维度的限制。
NFM模型是如何处理稀疏特征的？
NFM模型通过嵌入方法学习稀疏特征的组合，能够处理高维稀疏输入。
AFM模型引入了什么机制来提升特征组合的学习？
AFM模型引入了注意力机制来学习不同组合特征的重要性。
DeepFM模型的结构是怎样的？
DeepFM模型结合了FM和DNN，旨在同时学习低阶和高阶特征。
