遗传列生成算法计算对抗分类的下界
内容提要
本文探讨了利用多边际最优传输（MOT）简化对抗性风险问题的方法，提出通过线性规划和熵正则化提高深度学习模型的鲁棒性，并分析了机器学习分类器在对抗样本下的表现，应用最优传输理论优化神经网络的分类性能。
延伸解读
对抗鲁棒性的理论刻画
文章利用多边际最优传输（MOT）将对抗性风险问题转化为线性规划与熵正则化问题，为深度学习模型的鲁棒性提供了理论工具。通过最优传输表征分类器在对抗样本下的最小可能损失，并在高斯数据及MNIST、Fashion MNIST、CIFAR-10上比较了鲁棒训练神经网络的最优与实际性能差距，揭示了理论与实践的鸿沟。
生成模型中的最优传输进展
文章综述了基于生成对抗网络的优化输运模型，使用2-Wasserstein距离作为判别器目标，证明生成器沿W2-测地线移动并重现最优映射，在图像数据上优于先前方法。此外，POTNet利用边际惩罚Wasserstein损失有效建模表格数据，实现了数量级加速，展示了最优传输在生成建模中的多样应用。
最优传输距离的计算与正则化
针对大规模数据集，文章指出通过平均多个较小最优传输问题可近似计算最优传输距离，这等效于隐式正则化，并具有无偏估计、梯度集中等性质。梯度流、GAN和颜色转换实验验证了该策略的实际价值，为处理高维数据提供了可行方案。
泛化误差的理论新视角
文章利用期望Wasserstein距离推导出学习算法泛化误差的上界，对损失函数限制较少，并通过总变差距离、相对熵和VC维度给出了其他上界。基于此框架分析深度学习泛化误差，得出深度神经网络泛化误差随层数增加呈指数级下降的结论，为理解深度学习泛化提供了新途径。
Q&A
什么是多边际最优传输（MOT）？
多边际最优传输（MOT）是一种将对抗性风险问题简化为线性规划和熵正则化的数值算法，用于提高深度学习模型的鲁棒性。
如何提高深度学习模型的鲁棒性？
通过使用多边际最优传输、线性规划和熵正则化，可以提高深度学习模型的鲁棒性。
最优传输理论在对抗样本中的应用是什么？
最优传输理论用于表征对抗样本下可能的最小损失，从而分析机器学习分类器的鲁棒性。
POTNet是什么？
POTNet是一种生成深度神经网络，基于边际惩罚Wasserstein损失函数，有效建模包含类别和连续特征的表格数据。
Wasserstein距离在生成网络中的作用是什么？
Wasserstein距离用于将生成网络适配成目标分布，从而实现小的Wasserstein距离，优化生成器网络。
深度学习中的泛化误差如何分析？
通过期望Wasserstein距离，可以得到学习算法泛化误差的上界，并分析深度学习中的泛化误差随层数增加而下降的趋势。
