MedMNIST-C: 通过模拟真实图像损坏的全面基准和改进的分类器鲁棒性
内容提要
本文介绍了MNIST-C数据集，用于评估计算机视觉模型的鲁棒性。研究表明，现代视觉模型在面对多种损坏时性能下降，并提出了新的评估标准和基准测试，以提高医学图像分类的透明度和可复现性。同时，研究强调了不同模型架构的能力以及低分辨率在原型阶段的优势。
延伸解读
MNIST-C 的损坏设计：广泛而非最坏情况
MNIST-C 对 MNIST 测试集施加了 15 种损坏，旨在捕捉现代视觉模型的多种失败模式。与对抗性防御不同，这些损坏不寻求最坏情况下的表现，而是设计成广泛多样的，因此能更全面地评估模型在常见干扰下的鲁棒性。这种模型无关的损坏不会改变测试图像的语义内容，但会显著降低模型性能，为鲁棒性评估提供了更贴近实际的标准。
医学图像分类的鲁棒性基准与效率权衡
针对医学图像分类，研究提出了一个全面的基准，用于评估常见卷积神经网络和 Transformer 模型。研究发现，计算效率高的训练方案和现代基础模型在减少昂贵端到端训练方面具有潜力。此外，较高分辨率未必总能提高性能，在原型阶段使用较低分辨率可以加快处理速度。该基准还确认了卷积模型与 ViT 模型的竞争力，强调了不同架构内在能力的重要性。
标准化评估框架对医学图像分析的意义
MedMNIST 系列数据集为医学图像分析提供了标准化的资源，支持多模式机器学习和自动机器学习。MedMNIST v2 包含 12 个 2D 和 6 个 3D 数据集，图像经过预处理，便于快速原型设计和基准测试。在此基础上，新的评估框架旨在提高透明度、可复现性和可比性，使不同研究之间的结果更易于比较，推动医学图像分类的稳健发展。
Q&A
MNIST-C 数据集的主要用途是什么？
MNIST-C 数据集用于评估计算机视觉模型的鲁棒性，包含 15 种损坏。
现代视觉模型在面对损坏时表现如何？
研究表明，现代视觉模型在面对多种损坏时性能显著下降，但不影响测试图像的语义内容。
在原型阶段使用低分辨率有什么优势？
较高分辨率未必总是提高性能，建议在原型阶段使用较低分辨率以加快处理速度。
研究中提到的模型架构有哪些？
研究确认了卷积模型与 ViT-based 模型的竞争力，强调不同模型架构的能力。
该研究希望实现什么目标？
希望标准化评估框架能提高 MedMNIST + 数据集及未来研究的透明度、可复现性和可比性。
MNIST-C 数据集与传统对抗性防御有何不同？
MNIST-C 的损坏设计成广泛多样的，捕捉现代模型的多个失败模式，而不是寻求最坏情况下的表现。
