研究探讨了分类任务中冗余数据维度与对抗脆弱性之间的关系。发现低维流形上的清洁训练收敛问题与一阶优化器的欠条件性有关。建议通过二阶方法提高模型鲁棒性,但批量归一化层可能影响效果。
本文解决了高维数据在低维流形上的统计复杂性问题,并提供了与ReLU网络相关的理论结果。通过展示在紧致流形上逼近有界Sobolev函数类所需的统计复杂性下界,为已有的关于流形上ReLU网络的逼近结果提供了互补的界限。
通过Wasserstein-1和Wasserstein-2近似操作符,使用连续时间生成流的良构形式学习低维流形上支撑的分布。生成流可以通过最优性条件进行分析,解决方案刻画了最优生成流。MFG理论表明Wasserstein-1和Wasserstein-2近似是必要的。生成流通过对抗性训练学习,无需反向仿真。方法在生成高维图像方面有效。
本文介绍了一种新的非参数建模方法LDGD,利用高斯过程将高维数据映射到低维流形,通过推断潜变量来提高模型的预测准确性和鲁棒性。LDGD还引入了诱导点来降低计算复杂度,实现了批处理训练,提高了处理大规模数据集的效率和可扩展性。该方法在预测标签方面的准确性超过了现有方法,并在有限训练数据标签的预测中表现出高准确性。这为高维数据分析中的非参数建模方法发展奠定了基础。
TDGP是一种新的学习低维表示的方法,通过定义局部线性变换来保持潜在嵌入的概念,并保留核函数的长度尺度的解释性。在发现输入数据的低维流形、增加层数时表现良好,在标准基准数据集上得到了证明。
完成下面两步后,将自动完成登录并继续当前操作。