广义线性模型的自动模型选择
内容提要
本文回顾了四种主要的线性混合效应模型选择方法，包括信息标准、收缩方法、Fence法和贝叶斯技术。研究提出了一种自动化模型选择方法，结合稀疏非线性动力学算法和信息准则，解决混合整数优化问题，并探讨了贝叶斯算法框架在高维回归模型中的应用。
延伸解读
方法演进：从经典到自动化
文章梳理了线性混合效应模型选择的四条路径：信息标准、收缩方法、Fence法和贝叶斯技术。这些方法各有侧重，而近年研究趋势是将其与优化算法结合，实现自动化选择。例如，利用稀疏非线性动力学算法和信息准则，可自动识别动力学系统；基于优先级的随机网格搜索和贪婪搜索则针对表格数据中的特征交互。这种演进反映了模型选择从依赖人工判断向算法驱动转变。
混合整数优化：统一框架下的模型选择
多篇文献从混合整数优化角度处理模型选择。2013年提出混合整数锥优化方法，可考虑特征获取的辅助成本；2017年使用二阶锥松弛解决含离群值的线性回归问题，相比大M约束线性化具有更强松弛度；2023年则通过非线性表达逻辑约束，结合正则化与混合精度算法形成凸二进制优化问题。这些工作表明，混合整数优化为模型选择提供了统一且可证明最优的框架。
贝叶斯与半贝叶斯：高维与决策问题
贝叶斯技术在高维回归和决策问题中展现出优势。2008年提出的Gauss-Lasso双阶段方法，在广义不可表现性条件下能正确识别高维回归中的有效自变量；2013年提出的半贝叶斯信息准则（SIC）在模型正确与不正确时均具优势；2019年的贝叶斯算法框架通过查询稀疏线性模型后验协方差，成功优化了磁共振成像的采样轨迹。这些进展说明贝叶斯方法能兼顾模型选择与后续决策。
实际应用与性能验证
文章提及的方法已在多个场景中验证。自动化模型选择能准确识别SEIR疾病模型和Lorenz方程等基本动力学系统；基于超平面的决策树将非线性约束转化为混合整数优化近似，并在81个全局优化实例中测试，多数实例的可行性和最优性得到改进，与BARON相比在11个实例中取得更优的最优间隙或求解时间。这些结果提示，自动化方法在复杂系统建模中具有实用潜力。
Q&A
广义线性模型的自动模型选择方法有哪些？
主要有信息标准、收缩方法、Fence法和贝叶斯技术。
自动化模型选择方法是如何结合稀疏非线性动力学算法的？
该方法利用稀疏非线性动力学算法和信息准则，解决混合整数优化问题。
贝叶斯算法在高维回归模型中的应用是什么？
贝叶斯算法框架用于高维回归模型，提出了双阶段方法Gauss-Lasso。
半贝叶斯信息准则（SIC）在模型选择中有什么优势？
SIC在模型正确性和不正确性下的模型选择具有优势。
该研究如何识别基本动力学系统？
研究能够准确识别多个基本动力学系统，包括SEIR疾病模型和Lorenz方程。
自动化模型选择方法的有效性如何？
该方法有效捕获预测性特征组合，适用于包含特征交互的表格数据集。
