关于外分布泛化评估的调研
内容提要
该文综述机器学习中的分布外（OOD）泛化与检测研究，涵盖定义、方法、评估及未来方向，并涉及图领域OOD、可学习性与扩张函数、NLP系统可靠性、OpenOOD代码库、图OOD适应、对抗鲁棒性与领域泛化、VQA-CP基准问题及NLP中OOD检测进展。
延伸解读
OOD泛化与检测的区分
文章将OOD研究分为泛化与检测两个方向。泛化旨在提升模型在分布外数据上的预测性能，而检测则关注识别模型无法正确预测的样本并拒绝。两者目标不同：泛化追求鲁棒性，检测强调可靠性。读者需注意，评估指标和方法各异，不可混用。
图领域OOD研究的进展
文章综述了图领域OOD泛化的进展，按数据、模型和学习策略分类现有方法，并讨论了图OOD适应。这表明图结构数据的OOD问题受到关注，但方法分类显示该领域仍处于发展阶段，未来需解决图特有的挑战，如结构分布偏移。
NLP中OOD检测的可靠性
文章指出NLP系统在处理超出标准数据集的数据时存在可靠性问题，并综述了OOD检测在NLP中的进展，包括数据集、应用和评估指标。这提醒读者，NLP模型在实际部署中可能因分布偏移而失效，需重视检测与偏差评估。
评估基准与代码库的作用
文章提到OpenOOD代码库实现了超过30种OOD检测方法，并提供统一基准。同时，VQA-CP基准存在问题，可能影响泛化评估的准确性。这表明标准化评估工具对比较方法至关重要，但现有基准的缺陷需引起注意，未来需改进评估协议。
Q&A
什么是分布外（OOD）泛化？
分布外泛化是指机器学习模型在训练分布之外的数据上仍能保持良好性能的能力。该研究论文系统讨论了OOD泛化的定义、方法论、评估及未来方向，并涉及无监督表示学习等现有方法。
图领域中的OOD泛化研究进展如何？
2022年2月有研究综合调查了图领域的OOD泛化率，详细审查了近期进展，并根据在图形机器学习流水线中的位置，从数据、模型和学习策略等概念上将现有方法分为三类，还指出了未来研究方向。
OpenOOD代码库是什么？它有什么作用？
OpenOOD是一个统一的、结构化的代码库，实现了超过30种OOD检测方法，并在一般化OOD检测框架下提供全面基准。通过比较发现，预处理方法和正交后处理方法显示出很强潜力。
自然语言处理中OOD检测有哪些进展？
2023年5月有研究探讨了NLP系统处理超出标准数据集数据时的适用性，并在文本分类中研究了可靠性和偏差，综述了最新进展、方法和评估，讨论了挑战和未来方向。2023年4月另一篇综述回顾了NLP中OOD检测的进展，分类介绍了数据集、应用和评估指标。
VQA-CP基准存在什么问题？如何解决？
2020年5月的研究指出VQA-CP基准目前存在问题，包括现有方法的局限性和可能带来的负面影响，并提出了一些简单的解决方案，以更准确地评估模型的泛化能力。
OOD问题的可学习性和扩张函数是什么？
2021年6月的研究首次尝试对OOD问题的可学习性和扩张函数进行严格和量化的定义，引入新的扩张函数概念来量化不变特征的方差程度，证明了OOD泛化误差界，实验表明其模型选择标准相比基线有显著优势。
