GAN在生成模型中非常重要,但存在训练不稳定和梯度消失等问题。WGAN及其改进版WGAN-GP通过使用Wasserstein距离解决了这些问题,提供了更稳定的训练和更丰富的生成样本。WGAN-GP还引入了梯度惩罚,进一步提升了生成效果。
该论文提出了一种通过单次前向传递来训练确定性深度模型的方法,该模型可以找到并拒绝分布外的数据点。通过引入梯度惩罚,可以可靠地检测分布外的数据,并在大型数据集上缩放不确定性量化。在一些难以检测的数据集上,该方法比Deep Ensembles得出了更好的结果。
本文提出了一种数据集蒸馏的方法,通过集成剪断损失和梯度惩罚来调整专家轨迹参数的变化速率,并提出增强策略,以解决现有方法在训练大型机器学习模型时存在的问题。实验结果表明,该方法在各种规模、大小和分辨率的数据集上明显优于之前的方法。
完成下面两步后,将自动完成登录并继续当前操作。