锐度多样性权衡:通过 SharpBalance 改进平坦集成
原文中文,约500字,阅读约需2分钟。发表于: 。最近对于深度集成的研究发现个体学习者的局部最小值的锐度和集成成员的差异作为改善测试性能的关键因素。本研究在此基础上探究了锐度和差异在深度集成中的相互作用,并展示了它们在对于分布内(ID)和分布外(OOD)数据的稳健泛化中的关键作用。我们发现锐度和差异之间存在着一种权衡:最小化损失函数中的锐度往往会减少集成中个体成员的差异,对集成的改进产生不利影响。我们通过理论分析和大量实验验证了这种权衡。为...
最近的研究发现,个体学习者的局部最小值的锐度和集成成员的差异是改善测试性能的关键因素。本研究探究了锐度和差异在深度集成中的相互作用,并展示了它们在对于分布内和分布外数据的稳健泛化中的关键作用。通过理论分析和实验证明了提出的训练方法SharpBalance可以平衡集成中的锐度和差异,显著提高集成的性能。