BriefGPT - AI 论文速递
·
神经优化方程、衰减函数和学习率时间表的联合演化
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
我们提出了一种新的双联合搜索空间和完整性检查，用于自动化找到深度学习优化器的过程。通过使用基于粒子的遗传算法在不同数据集上评估候选优化器，发现多个优化器在图像分类任务中表现优于标准的深度学习优化器。
🎯
关键要点
- 提出了一种新的双联合搜索空间和完整性检查，用于自动化找到深度学习优化器的过程。
- 使用基于粒子的仅突变的遗传算法在CIFAR-10数据集上评估候选优化器。
- 最终优化器迁移到CIFAR-100和TinyImageNet的大规模图像分类中。
- 对Flowers102、Cars196和Caltech101使用EfficientNetV2Small进行微调。
- 发现多个优化器、学习率调度和Adam变体在图像分类任务中表现优于Adam和其他标准的深度学习优化器。
🏷️
标签
➡️
