高维点过程结构缺失的潜变量模型
内容提要
该文综述了基于变分自编码器与高斯过程的潜变量模型，用于缺失数据处理、因果识别与高维降维，涵盖L-VAE、深度潜变量模型、LDGD及异构纵向VAE等方法，可建模共享与随机效应、时间动态及多模态数据，提升插值精度、预测准确性与计算可扩展性。
延伸解读
方法演进与核心思路
文章梳理了从L-VAE到LDGD等多种潜变量模型，核心思路是利用变分自编码器与高斯过程先验，在辅助协变量约束下学习结构化低维表示。这些方法能同时建模时间变化的共享效应与随机效应，并推导出新的KL上界或可跟踪ELBO，从而在处理缺失数据时显式建模缺失过程，提升插值精度与预测性能。
处理缺失数据的策略
针对缺失数据，文章介绍了多种策略：有的通过生成缺失数据的损坏过程并推导可跟踪证据下限，适用于随机缺失和非随机缺失；有的利用高斯过程在时间上平滑演化的低维表示进行非线性降维与插值。这些方法在MNIST、SVHN等数据集上验证了边际对数似然和插值效果的提升，并提供了可解释的不确定性估计。
计算可扩展性与应用场景
为应对大规模数据，LDGD引入诱导点降低高斯过程计算复杂度，实现批处理训练，提高效率和可扩展性。异构纵向VAE则通过连续、计数、分类和序数数据的似然模型处理异构数据。这些方法在医疗、金融等领域的缺失数据场景中展现出优势，尤其在训练数据有限时仍能保持较高预测准确性。
Q&A
L-VAE 是什么？它有什么特点？
L-VAE 是一种通过多输出加性高斯过程先验扩展 VAE 能力的方法，能在辅助协变量信息约束下学习结构化低维表示，并导出新的 KL 离散度上界。它可以同时适应时间变化的共享和随机效应，剥离个体协变量或其相互作用的影响，实现高度准确的预测性能。
如何处理缺失数据并建模缺失过程？
Jun, 2020 提出了一种基于深度神经网络和重要性采样变分推理的方法，用于建立和拟合深度潜变量模型。该方法可以在处理缺失数据时，显式地建模缺失过程以及缺失数据本身之间的依赖关系，以期能更好地应用到实际问题。
LDGD 方法是什么？它有什么优势？
LDGD 是一种非参数建模方法，利用高斯过程将高维数据映射到潜在的低维流形，通过推断潜变量来有效捕捉数据中的不确定性，提高模型的预测准确性和鲁棒性。它不仅能准确推断流形，而且在预测标签方面的准确性也超过了现有方法。通过引入诱导点降低高斯过程的计算复杂度，实现批处理训练，提高处理大规模数据集的效率和可扩展性。
如何从非线性混合数据中识别因果潜在过程？
Jan, 2024 通过时间信息学习潜在因果变量的变化规律，使用因果过程先验引入约束来实现条件满足，达到从非线性混合数据中可靠地识别因果潜在过程的目的。
有哪些方法可以处理异构纵向数据？
本文提出了用于处理异构数据的异构纵向变分自编码器，该模型通过建立生成模型和推断网络实现了高维数据的有效推断和处理，并使用连续、计数、分类和序数数据的似然模型来处理缺失值和实现预测。通过模拟和临床数据的实验验证了模型的有效性和预测精度。
如何提高稀疏高斯过程变分自编码器处理时空缺失数据的效率？
Oct, 2020 研究了高斯过程深度生成模型中潜变量的稀疏高斯过程近似的问题，并提出了一种基于部分推理网络的稀疏高斯过程变分自编码器，从而使得稀疏高斯过程能处理多维度的时空数据中缺失的数据，并提高模型的计算效率。
