本文探讨了稀疏神经连接在深度卷积神经网络中的应用，特别是在提升人脸识别性能方面。研究表明，适度的稀疏结构通过迭代学习和新的权重选择准则显著提高了识别效果。此外，提出的稀疏正则化方法和新算法在多种任务中表现优异，推动了深度学习领域的稀疏性研究。

LassoNet是一个结合特征选择与参数学习的神经网络框架，优于传统方法。研究还提出了多种基于稀疏正则化的特征选择方法，如NeuroFS和SAFS，显著提高了预测准确率。这些方法在高维数据和小样本情况下表现出色，推动了特征选择技术的发展。

该文综述稀疏正则化研究，涵盖组模型选择、低秩矩阵恢复、结构稀疏泛化界、加权l^p迭代算法、Group LASSO恢复保证、梯度下降隐式正则化、半定松弛、深度网络特征选择及贝叶斯稀疏先验，并探讨统计与计算权衡。

该文综述神经网络剪枝与模型融合研究：利用最优传输对齐神经元实现知识转移与Transformer压缩；结合Gumbel-Softmax端到端优化权重与拓扑，大幅压缩且保持精度；对预训练Transformer稀疏剪枝可达20倍压缩；稀疏正则化提升ViT剪枝精度，高稀疏训练在视觉与语言任务达领先水平。

该文综述解缠表示学习研究，涵盖：以稀疏正则化联合学习潜在因素与因果图，揭示ICA与因果联系；结合因果理论与VQ-VAE实现因果动态解缠与干预；SlowVAE在自然视频中非线性分离变化因素；基于潜在变量与因果模型预测基因组联合扰动；提出多元表示解缠分析框架与分离度量；用spike-and-slab受限玻尔兹曼机无监督分离变异因素；提出ICM-VAE因果解缠框架及可识别性理论；识别连续非高斯分布稀疏依赖结构；提出对称变换非概率解缠框架；研究非线性监督学习与变量选择的非参数稀疏模型。