1p-frac：已开源，仅用单张分形图片即可媲美ImageNet的预训练效果 | ECCV 2024 - 晓飞的算法工程笔记
💡
原文中文，约7500字，阅读约需18分钟。
📝
内容提要
分形几何是通过递归迭代生成图像的数学分支。研究发现，即使只有一个分形图像，也可以进行有效的预训练。通过引入局部扰动交叉熵损失函数，可以训练神经网络对小扰动进行分类。预训练可能只是更好的权重初始化，而不是发现有用视觉概念的必要条件。这对于减少预训练数据集的规模具有重要意义。
🎯
关键要点
- 分形几何是通过递归迭代生成图像的数学分支。
- 研究表明，即使只有一个分形图像，也能进行有效的预训练。
- 引入局部扰动交叉熵损失函数，可以训练神经网络对小扰动进行分类。
- 预训练可能只是更好的权重初始化，而不是发现有用视觉概念的必要条件。
- 这对于减少预训练数据集的规模具有重要意义。
- 论文提出了一个最小的、纯合成的预训练数据集，能够实现与 ImageNet-1k 相当的性能。
- 即使只有一个分形图像，也能进行有效的预训练。
- 局部整合经验分布可以使得即使只有一个分形图像也能进行预训练。
- 通过对真实图像进行增强，可以实现类似的预训练效果。
- 论文的贡献包括引入局部扰动交叉熵损失和局部整合经验分布。
- 研究表明，合成图像不应仅包含复杂形状，应该应用递归图像模式。
- 预训练数据集的大小可以显著减小，从100万张减少到仅1张，甚至改善预训练效果。
➡️
