长尾学习中的欠采样技术复苏
内容提要
该文综述长尾识别方法，涵盖平衡对比学习（均衡梯度、多类采样）、解耦学习（表示不受不平衡影响，仅调分类器）、Balanced Softmax（解决分布不匹配）、梯度平衡聚类、Uniform Mixup与Bayes Bias（改善校准）、辅助学习（拆分分类器与特征提取器）、特征空间增强（补尾部类）、标签感知平滑与批次偏移规范化、EMANATE与Breadcrumb增强，以及元学习（估计类条件差异）。
延伸解读
解耦学习：表示学习与分类器调整的分离
文章指出，数据不平衡可能不影响高质量表示的学习。使用最简单的实例平衡抽样学习表示后，仅调整分类器就能实现强大的长尾识别能力，甚至胜过精心设计的损失、采样策略或复杂模块。这提示读者，长尾问题的关键可能在于分类器偏差而非表示质量，解耦学习提供了一种简洁有效的思路。
平衡策略的多样性：从梯度到元学习
文章综述了多种平衡策略，包括均衡梯度贡献、多类采样、Balanced Softmax、梯度平衡聚类、Uniform Mixup、Bayes Bias、辅助学习、特征空间增强、标签感知平滑、批次偏移规范化、EMANATE、Breadcrumb以及元学习。这些方法从不同角度应对长尾分布，如梯度均衡、分布匹配、特征增强和类别条件差异估计，展示了该领域的活跃与多元。
特征空间增强与过拟合风险
EMANATE和Breadcrumb都是基于特征空间增强的策略。文章提到，EMANATE更容易过拟合，而Breadcrumb训练的分类器在三个流行长尾识别数据集上表现更好。这提醒读者，增强策略需权衡过拟合风险与性能提升，Breadcrumb可能通过类平衡采样的对抗性增强取得了更好泛化。
Q&A
长尾学习中，数据不平衡是否会影响表示学习？
研究表明，数据不平衡在学习高质量表示方面可能不是问题。使用最简单的实例平衡抽样进行表示学习，只需调整分类器就能实现强大的长尾识别能力，甚至胜过精心设计的损失、采样策略以及复杂模块。
Balanced Softmax 方法解决了什么问题？
Balanced Softmax 方法解决了训练和测试分布不匹配的深度学习分类问题，实验证明其在视觉识别和实例分割任务中胜于现有最佳方法。
有哪些方法可以改善长尾识别中的校准问题？
标签感知平滑和批次偏移规范化被设计用于解决训练数据集不均衡和 miscalibration 问题，并在多个长尾识别基准数据集上创造了新记录。此外，Uniform Mixup 和 Bayes Bias 也能确保分类校准和提高性能。
辅助学习如何解决类别不平衡问题？
辅助学习通过将神经网络拆分为分类器和特征提取器，并针对每个部分采用不同的训练策略，如采用类平衡采样方案来提高对尾部类别的重视，并通过自监督学习进一步提高性能。
特征空间增强方法如何解决长尾分布问题？
特征空间增强方法通过在特征空间中使用来自具有丰富样本的类别所学习的特征来增强欠表示类别。具体地，使用类别激活映射将每个类别的特征分解为类别通用和类别特定部分，并将欠表示类别的类别特定特征与混淆类别的类别通用特征融合，实时生成新样本。
EMANATE 和 Breadcrumb 在长尾识别中的表现如何？
EMANATE 是一种基于特征空间增强的新型增强策略，与基于类平衡采样的对抗性增强策略 Breadcrumb 相比，EMANATE 更容易过拟合，但 Breadcrumb 训练的分类器在三个流行的长尾识别数据集上表现出比现有解决方案更好的性能。
元学习如何用于长尾分类？
从领域自适应的角度，基于元学习的方法可以显式估计类别条件分布差异，并在六个基准数据集和三个损失函数上进行了验证。
