Lasso 和 Logistic Lasso 的快速方法
内容提要
本文综述了LASSO及广义LASSO在大规模正则化回归中的算法进展，包括坐标下降、ADMM、路径算法等快速求解策略，并针对不同数据规模给出实用建议。研究还涉及平方根LASSO、图融合套索、鲁棒回归及非线性观测信号估计，证明了LASSO风险的高维精确极限，并扩展至广义线性模型与稀疏图模型。
延伸解读
算法选择需匹配问题规模与结构
文章比较了二次规划、ADMM和路径算法等求解有约束Lasso的策略，并基于模拟和真实数据给出了不同数据规模下的实用建议。这意味着没有一种算法在所有场景下都最优，读者应根据数据量、稀疏性和是否可转化为有约束问题来权衡。例如，坐标下降在大规模Lasso中备受关注，而路径算法可能更适合需要完整正则化路径的场景。
广义Lasso可转化，但反向不成立
文章指出一般化Lasso可以转化为有约束的Lasso问题，但反之则不成立。这一不对称性意味着针对有约束Lasso开发的快速算法，可能通过转化用于更广泛的一般化Lasso，从而扩展其应用范围。但读者需注意，并非所有Lasso变体都能直接套用现有快速求解器，转化过程可能引入额外约束或计算开销。
坐标下降的适用边界与扩展
逐一坐标下降算法在Lasso、garotte和弹性网络中表现可与LARS竞争，且在大规模问题中引起关注，但它并不适用于融合Lasso。为此，文章提出了广义算法，能在更短时间内求解，并推广到二维融合Lasso用于图像平滑。这提示读者，标准坐标下降并非万能，面对融合惩罚等结构化问题时，需采用专门扩展或替代方法。
高维理论为算法提供风险保证
文章涉及通过消息传递算法证明LASSO风险的精确高维极限结果，这为算法性能提供了理论支撑。同时，平方根Lasso无需预估标准差即可处理高斯或非高斯误差，鲁棒回归则针对强污染模型。这些进展表明，快速算法不仅追求速度，还在特定条件下具备统计风险保证，但读者应留意其假设条件是否与实际数据匹配。
Q&A
Lasso 和 Logistic Lasso 有哪些快速求解算法？
文章综述了多种快速算法，包括坐标下降（循环坐标下降、贪心坐标下降）、交替方向乘子法（ADMM）、路径算法（如 LARS 同伦过程）、近端梯度法以及消息传递算法等。这些算法针对大规模正则化回归问题，能有效加速求解。
对于不同数据规模，Lasso 求解应该选择什么算法？
文章通过模拟和真实数据比较了二次规划、ADMM 和高效路径算法等策略，并给出了适用于不同数据规模的实际建议。例如，在大规模问题中，坐标下降和路径算法通常更受关注，而 ADMM 适用于有约束问题。
广义 Lasso 和有约束的 Lasso 之间有什么关系？
一般化 Lasso 可以转化为有约束的 Lasso 问题，但反之则不成立。因此，用于求解有约束 Lasso 的方法也可以用于估计具有广泛应用的一般化 Lasso。
平方根 Lasso 方法有什么特点？
平方根 Lasso 是一种高维稀疏线性回归模型估计方法，适用于大量输入变量但只有少量参数起作用的情况。它不需要预估标准差，并且可以适用于高斯或非高斯误差数据。
图融合套索（GFlasso）用于解决什么问题？
GFlasso 用于结构化多任务回归问题，它利用输出变量之间的图结构，通过融合惩罚函数鼓励高度相关的输出共享一组相关的输入。文章还提出了一种简单有效的近端梯度方法用于优化 GFlasso。
如何用 Lasso 方法估计稀疏无向图模型？
文章使用加入 l1-norm 惩罚项的最大似然问题来估计高斯或二元分布参数，从而得到稀疏的无向图模型。并利用块坐标下降和 Nesterov 一阶法等算法将复杂度限制在可接受范围内。
