一种非渐进分布理论的逼近传递消息算法在稀疏和鲁棒回归中的应用
内容提要
该文综述近似消息传递（AMP）算法在高维统计估计中的研究进展，涵盖M估计与Lasso的操作特性分析、低秩矩阵估计的谱初始化、正交不变噪声下的Bayes-OAMP、广义线性模型估计及状态演化分析、矩阵张量乘积模型、自适应GAMP联合学习先验与信道统计、逐系数稳定AMP，以及无需调参的自动阈值方法。
延伸解读
AMP算法在稀疏回归中的参数选择难题
文章指出，在LASSO和AMP解决含噪声随机线性观测问题时，正则化参数和阈值参数的选择是基本问题。2015年的研究帮助找到最优参数调整方法，而2021年进一步提出无需用户调整阈值的自动方式，利用修改的梯度下降和Stein无偏风险估计，实现最小重构误差和最高收敛速率。这表明参数自动化是AMP实用化的重要方向。
低秩矩阵估计的谱初始化策略
对于低秩矩阵估计，文章提到结合谱初始化可使AMP达到Bayes最优精度，并讨论了在稀疏低秩矩阵和高斯块模型中的实验结果。谱初始化能缓解初始化时的相关性和独立性问题，在广义线性模型估计中也有应用。这提示读者，初始化方法对AMP性能至关重要，尤其在高维非凸问题中。
稳定AMP的逐系数更新与自适应GAMP
标准AMP在假设不匹配时可能不收敛。2014年提出逐系数应用AMP更新而非并行更新，以稳定算法且不增加过多计算成本。2012年的自适应GAMP则能联合学习先验和测量通道统计信息，同时估计未知向量，并具有一定收敛性。这些变体扩展了AMP在压缩感知、动态系统等场景的适用性。
旋转不变设计下的低复杂度AMP
针对旋转不变设计矩阵的广义线性模型，2021年提出一族AMP算法，通过状态演化递归严格表征高维极限性能。该算法与高斯设计AMP复杂度相同，且将现有AMP作为特例，性能接近Vector AMP但无需昂贵奇异值分解。这为实际中避免高计算成本提供了选择。
Q&A
AMP算法在高维统计估计中主要用来解决哪些问题？
AMP算法主要用于分析M估计和Lasso估计器的操作特性，研究正则化最小二乘中的额外高斯噪声，并应用于低秩矩阵估计、广义线性模型估计、矩阵张量乘积模型等。
Bayes-OAMP算法适用于什么场景？
Bayes-OAMP算法适用于具有正交不变噪声的对称和矩形钉子随机矩阵模型，采用贝叶斯方法进行近似消息传递。
如何解决AMP算法中阈值参数需要手动调整的问题？
可以采用一种自动方式，结合修改过的梯度下降算法和Stein无偏风险估计，无需用户调整阈值参数，即可实现高稀疏恢复和压缩感知中的最小重构误差与最高收敛速率。
在广义线性模型中，AMP算法初始化时存在相关性和独立性问题，有什么解决方案？
可以使用谱估计器作为初始化方法，并通过两阶段人工消息传递算法进行分析和模拟实验验证，以解决初始化时的相关性和独立性问题。
逐系数稳定AMP算法相比传统AMP有什么优势？
逐系数稳定AMP通过逐个系数而不是并行地应用AMP更新，解决了AMP在某些情况下不匹配其假设的收敛问题，并且不会增加过多的计算成本。
自适应GAMP（Adaptive GAMP）能实现什么功能？
自适应GAMP可以联合学习先验和测量通道的统计信息，同时估计未知向量，可应用于压缩感知中的稀疏先验学习、动态系统和神经尖峰过程中的线性非线性级联模型识别等，并具有一定的收敛性。
