基于块稀疏信号的多元化学习
内容提要
本文汇总多项稀疏学习研究，涵盖：自适应经验贝叶斯稀疏深度学习（提升MNIST、Fashion MNIST、CIFAR10表现与对抗鲁棒性）、盲压缩感知与变换融合框架（改善MRI重建）、块稀疏凸重建方法推广、基于DPP的多样特征选择、稀疏贝叶斯超参数估计算法统一、不可降采样滤波器组变换学习、MSplit LBI（兼顾特征选择与密集估计）、折叠凹拉普拉斯谱惩罚及主导最小化算法，以及贝叶斯后验协方差在MRI采样优化与高维回归置信集中的应用。
延伸解读
稀疏深度学习的鲁棒性提升
文章提到，自适应经验贝叶斯稀疏深度学习方法在MNIST和Fashion MNIST上达到最先进表现，在CIFAR10上压缩性能最佳，并提高了对抗攻击的抵抗能力。这表明稀疏先验不仅能压缩模型，还可能增强鲁棒性，为深度学习在资源受限或安全敏感场景下的应用提供了新思路。
盲压缩感知与MRI重建的改进
盲压缩感知框架同时重建图像和未知模型，并扩展为变换融合模型以捕捉自然图像特征。数值实验表明，该框架通常能带来更好的MRI图像重建质量。这提示在医学影像中，联合估计变换与图像可能比固定变换更有效，但需注意其计算复杂性和泛化能力。
块稀疏重建的推广与条件
块稀疏凸重建方法推广了LOP-𝓁₂/𝓁₁，能在不可逆变换下重建块稀疏信号，并提供了迭代算法及收敛条件。这扩展了块稀疏的应用范围，但实际使用需满足收敛条件，且性能可能依赖于块结构的准确估计。
特征选择与估计的平衡
MSplit LBI同时实现特征选择和密集估计，实验证明优于L₁和L₂正则化，并在few-shot和zero-shot学习中达到最先进性能。这表明在数据稀缺场景下，兼顾选择与估计的方法可能更有效，但需进一步验证其在不同任务中的普适性。
Q&A
自适应经验贝叶斯稀疏深度学习在哪些数据集上表现最好？
在MNIST和Fashion MNIST数据集上表现最先进，在CIFAR10数据集上压缩性能最好，同时提高了对抗攻击的抵抗能力。
盲压缩感知与变换融合框架在医学图像重建中有什么优势？
该框架能同时重建基础图像和未知模型，利用稀疏变换或字典中图像/图像补丁的稀疏性从高度欠采样测量中精确恢复图像，扩展的变换融合模型能更好捕捉自然图像特征，相比其他方法通常导致MRI图像重建质量更好。
块稀疏凸重建方法相比LOP-𝓁₂/𝓁₁有什么改进？
它是LOP-𝓁₂/𝓁₁的推广，能在不可逆变换下重建具有块稀疏性的信号，并提供了迭代算法和收敛到最优解的条件。
基于DPP的多样特征选择方法有什么特点？
该方法基于行列式点加工（DPP），用于生物信息学中的癌症基因预测和空间统计，显著提高了特征多样性，且不降低准确性。
稀疏贝叶斯学习中的超参数估计算法如何统一？
通过交替最小化和线性化范式统一解释了期望最大化、MacKay和凸包算法，并引入了一种新颖算法，在低信噪比条件下效率增强，收敛性分析和数值实验证实了有效性。
MSplit LBI方法在特征选择和估计方面有什么优势？
MSplit LBI能同时实现特征选择和密集估计，实验证明优于L₁和L₂正则化，并在few-shot和zero-shot学习中实现了最先进的性能。
折叠凹拉普拉斯谱惩罚方法在高维条件下有什么理论保证？
该算法在高维条件下仅需两步就可以很可能地收敛到Oracle估计器，具有吸引人的计算保证和统计保证，并在协方差估计、线性回归和逻辑回归等案例中进行了验证。
贝叶斯后验协方差在MRI采样优化中如何应用？
通过查询稀疏线性模型后验协方差来解决高阶贝叶斯决策问题，并利用该算法框架成功推动了磁共振成像的采样轨迹优化，为实际图像的压缩感知提供了新启示。
