BriefGPT - AI 论文速递
·
EfficientTrain++：高效视觉主干训练的广义课程学习
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文提出了三种新的课程学习策略，通过使用图片难度预测器估计难度分数，分别将训练集图片分成逐渐困难的批次、为判别器引入考虑真实图片难度分数的课程损失函数以及从进化分布中采样易于处理的图像。实验证明这些策略能更快地收敛且产生更好的结果。例如，使用最佳课程学习策略训练的谱归一化的 GANs 在 CIFAR 图像生成任务中，成功欺骗人类标注者的比例为25.0%，而传统训练方法的 GANs 只有18.4%。在图像转换中，使用课程学习训练的 CycleGAN 喜好程度为40.5%，而传统训练的 CycleGAN 只有19.8%。
🎯
关键要点
- 提出三种新的课程学习策略。
- 使用图片难度预测器估计难度分数，将训练集图片分成逐渐困难的批次。
- 为判别器引入考虑真实图片难度分数的课程损失函数。
- 从不断进化的分布中采样易于处理的图像。
- 实验证明这些策略能更快收敛且产生更好结果。
- 使用最佳课程学习策略训练的谱归一化的 GANs 在 CIFAR 图像生成任务中成功欺骗人类标注者的比例为25.0%。
- 传统训练方法的 GANs 只有18.4%的成功率。
- 在图像转换中，使用课程学习训练的 CycleGAN 喜好程度为40.5%。
- 传统训练的 CycleGAN 只有19.8%的喜好程度。
- 39.7%的情况被视为平局。
➡️
