AIGC时代，仅用合成数据训练模型到底行不行？来一探究竟 | CVPR 2024 - 晓飞的算法工程笔记
内容提要
研究发现，合成克隆模型在稳健性方面表现良好，尤其在形状偏差方面。混合真实数据和合成数据可以改善模型的稳健性。研究还分析了合成克隆模型在校准、对抗性攻击和图像损坏方面的表现。消融实验揭示了提示、添加真实数据和数据集大小对合成克隆模型稳健性的影响。
延伸解读
合成数据模型的稳健性优势与短板
文章指出，合成克隆模型在形状偏差、背景偏差和上下文偏差等指标上表现良好，甚至优于真实数据训练的模型。但在对抗性攻击和常见图像损坏方面，合成克隆模型明显更脆弱。这提示我们，合成数据虽能缓解标注压力，但若直接部署于安全关键场景，需额外增强其对噪声和恶意扰动的鲁棒性。
混合训练：提升稳健性的实用策略
消融实验表明，将真实数据与合成数据混合训练，可以改善模型在校准、对抗准确度和形状偏差等多个指标上的稳健性。同时，使用描述性提示（如BLIP2生成的标题或CLIP模板）比仅用类别名称更能生成多样化的图像，从而提升模型稳健性。因此，在实际应用中，建议采用混合数据策略并优化提示设计。
校准与OOD检测：合成模型的局限
合成克隆模型在分布内校准良好，但在ImageNet-A等分布外数据集上校准较差。在OOD检测任务中，SynCLR和SynCLIP与真实数据基线相当，但监督模型SynViT-B即使使用更多数据仍显著落后。这表明，对于需要可靠置信度估计或开放环境部署的任务，合成数据训练的监督模型可能不是最佳选择。
数据规模与多样性的平衡
增加合成数据量通常能提升模型稳健性，但文章也发现，数据量过大有时反而导致性能轻微下降，原因可能是数据集多样性减少，模型过度拟合于不够多样的数据。因此，在扩大合成数据规模时，需同步关注数据多样性，避免盲目追求数量而损害泛化能力。
Q&A
合成克隆模型的稳健性表现如何？
合成克隆模型在稳健性方面表现良好，尤其在形状偏差上优于纹理偏差。
混合真实数据和合成数据对模型有什么影响？
混合真实数据和合成数据可以改善模型的稳健性，提升多个指标的表现。
合成克隆模型在对抗性攻击方面的表现如何？
合成克隆模型在对抗性攻击方面表现较差，尤其是监督式合成克隆模型更易受攻击。
消融实验揭示了哪些影响合成克隆模型稳健性的因素？
消融实验揭示了提示、添加真实数据和数据集大小对合成克隆模型稳健性的影响。
合成数据训练的模型与真实数据训练的模型相比如何？
合成数据训练的模型在大多数稳健性指标上表现接近真实数据训练的模型，但在常见图像损坏和OOD检测上表现较差。
合成克隆模型在校准方面的表现如何？
合成克隆模型在分布内情况下大多数是校准良好的，但在分布外的校准效果较差，尤其是在ImageNet-A数据集上。
