双Oracle神经架构搜索用于博弈论深度学习模型
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
研究发现生成对抗网络(GAN)的收敛性受梯度雅可比矩阵特征值影响。新算法克服了这些问题,提高了收敛性能,并在多种GAN结构上表现出色。
🎯
关键要点
- 研究分析了生成对抗网络(GAN)训练算法的数值特征。
- 发现GAN训练目标的梯度向量场的相关性影响收敛性。
- 收敛性受两个因素影响:一是雅可比矩阵存在零实部特征值,二是存在较大虚部特征值。
- 提出了一种新算法,克服了这些限制并提高了收敛性能。
- 实验表明该算法在训练常见的GAN结构上表现优越,能够收敛于难以训练的GAN结构。
➡️