.mpipks-transcript | 10. Dimension Reduction
内容提要
本文讨论了高维数据的探索与分析，重点介绍了降维技术，如主成分分析（PCA）和UMAP。PCA通过线性变换减少数据维度，保持信息相关性；UMAP则通过构建图形表示，保留数据的拓扑结构。文章还提到聚类方法，以识别数据中的不同类别。选择合适的方法需结合具体问题和经验判断。
延伸解读
降维的核心：保留信息，而非单纯减少维度
文章强调，降维的目标是减少观测变量数量的同时保留相关信息。但“相关信息”取决于具体问题，需要研究者根据领域知识判断。例如，在伊辛模型中，仅用磁化强度就能描述系统状态；在人类DNA数据中，前两个主成分竟能重构出欧洲地理图谱。这说明降维不是盲目压缩，而是寻找数据中潜在的低维结构。
PCA的局限：线性变换难以处理非线性流形
PCA通过线性变换将数据投影到方差最大的方向，并保证成分间不相关。然而，当数据位于非线性流形上时（如瑞士卷数据集），PCA无法有效展开。文章用瑞士卷例子说明，线性方法只能旋转和拉伸数据，不能“解开”弯曲的结构。因此，面对图像旋转、单细胞测序等复杂数据，需要UMAP等非线性方法。
如何选择截断维度：没有绝对标准
在PCA中，截断主成分的数量通常基于解释方差的比例（如保留95%的方差），或为了可视化直接取前两个主成分。但文章指出，这个阈值是任意的，取决于分析目的。有时会先用PCA将维度从几十万降到几十，再用非线性方法进一步降维。实际工作中，往往需要尝试不同截断并评估结果是否合理。
UMAP的直觉：用拓扑结构保留数据的局部关系
UMAP基于拓扑数据分析，假设高维数据位于低维流形上，且流形局部均匀分布。它通过构建模糊拓扑结构（用单纯形近似流形），寻找低维投影，使其拓扑结构与原始数据相似。这种方法能更好地保留数据的局部邻域关系，因此在单细胞基因组学等领域广泛应用。但UMAP也有假设，如数据均匀分布，实际数据可能不满足。
Q&A
降维技术的主要目的是什么？
降维技术的主要目的是减少观测变量的数量，同时保留相关信息。
主成分分析（PCA）是如何工作的？
主成分分析通过线性变换将数据投影到新的坐标系中，使得新坐标系中的各个分量不相关，并按解释的变异性排序。
UMAP与PCA有什么不同？
UMAP通过构建图形表示来保留数据的拓扑结构，而PCA则是通过线性变换来减少数据维度。
在高维数据分析中，聚类方法的作用是什么？
聚类方法用于识别数据中的不同类别，帮助理解数据的结构和分布。
选择降维方法时需要考虑哪些因素？
选择降维方法时需结合具体问题和经验判断，以确保所选方法适合数据特性和分析目标。
高维数据分析中常用的降维技术有哪些？
常用的降维技术包括主成分分析（PCA）和UMAP。
