从相关组件的可解释方差到无正交约束的 PCA
内容提要
该文综述稀疏主成分分析（sPCA）研究，包括：提出获取稀疏、近不相关且载荷正交主成分的新方法，并开发增广拉格朗日算法求解非光滑约束优化；将正交性表述为秩约束，结合半定松弛与二阶锥不等式，或采用贪心算法求全局最优解；研究高维异方差数据的主成分估计、加权协方差双谱分解及一致性估计。实验表明这些方法在解释方差、正交性和支持恢复上优于传统方法。
延伸解读
稀疏主成分分析的核心挑战
稀疏主成分分析（sPCA）旨在获得稀疏且解释方差大的主成分，但传统方法往往难以同时保证载荷向量的正交性和主成分间的低相关性。本文综述的多项研究分别从不同角度应对这一挑战，例如通过增广拉格朗日方法处理非光滑约束，或将正交性重新表述为秩约束并结合半定松弛。这些方法在合成数据和真实数据上均显示出在解释方差、正交性和支持恢复方面的优势，但计算复杂度和实际适用性仍需权衡。
正交性处理的技术路线对比
文章提及了两种处理正交性的主要思路：一是将正交性条件转化为秩约束，并利用半定松弛和二阶锥不等式求解，以期获得全局最优解；二是采用贪心算法逐步构建稀疏主成分。前者在理论上有更优的性能保证，但计算成本较高；后者更易于实现，但可能陷入局部最优。此外，还有研究通过MM框架和矩形Procrustes问题在不损失正交性的前提下估计稀疏特征向量，这些方法各有侧重，适用于不同场景。
高维异方差数据下的主成分估计
针对高维异方差数据，传统PCA可能因忽略方差异质性而表现不佳。文章介绍了一种使用加权样本协方差矩阵的主特征向量方法，通过最优权重考虑信号和噪声方差的差异，并证明在自然统计假设下权重收敛为简单函数。该方法在未知方差时还可利用估计的信噪比，并在天文数据上得到验证。这提示读者，在实际应用中若数据存在异方差性，加权策略可能提升主成分估计的准确性。
稀疏PCA的局限与不一致性
尽管稀疏PCA在诸多领域表现出优势，但文章也指出其潜在问题：在建模无噪声、稀疏数据时，稀疏PCA在计算分数、残差和方差解释方面与传统PCA不同，可能表现出不一致和有限的性能。这意味着稀疏PCA并非在所有场景下都优于传统方法，其有效性依赖于数据特性和稀疏性假设。读者在应用时需谨慎评估模型假设，避免盲目追求稀疏性而牺牲解释能力。
Q&A
稀疏主成分分析（sPCA）与传统PCA的主要区别是什么？
稀疏主成分分析（sPCA）旨在找到稀疏且几乎不相关的主成分，同时具有正交的载荷向量，并尽可能多地解释总方差。与传统PCA不同，sPCA在计算分数、残差和方差解释时方法不同，且在建模无噪声、稀疏数据时可能表现出不一致和有限的性能。
有哪些方法可以求解稀疏主成分分析中的优化问题？
求解稀疏主成分分析优化问题的方法包括：增广拉格朗日方法用于非光滑约束优化；将正交性条件重新表述为秩约束，结合半定松弛和二阶锥不等式；贪心算法求全局最优解；以及基于凸松弛技术和MM框架的方法。
稀疏主成分分析在高维异方差数据中如何应用？
对于高维异方差数据，可以使用加权样本协方差矩阵的主特征向量来考虑方差的异质性，并证明最优权重收敛为信号和噪声方差的简单函数。在未知方差的情况下，可以使用估计的信噪比。
稀疏主成分分析在哪些领域有实际应用？
稀疏主成分分析可应用于机器学习、工程、金融、子集选择、稀疏恢复等领域，并在天文数据（如Sloan Digital Sky Survey类星体光谱）分析中表现出色，能够识别最显著的模式并外推光谱波长。
稀疏主成分分析在解释方差和正交性方面相比其他方法有何优势？
计算结果表明，新的稀疏PCA方法产生的稀疏主成分在总方差、主成分相关性和载荷向量的正交性等方面显著优于其他方法。此外，基于半定松弛和贪心算法的方法在支持恢复和解释方差方面也比现有算法表现更好。
稀疏主成分分析存在哪些局限性或问题？
稀疏主成分分析在计算分数、残差和方差解释时与传统PCA不同，并且在建模无噪声、稀疏数据时可能表现出不一致和有限的性能。
