纹理偏见的束缚？深度实例分割的大规模比较
内容提要
该文综述多项计算机视觉研究：在ObjectNet上限定对象区域可提升深层模型的准确性与鲁棒性；增大训练集和模型规模能增强对分布偏移的鲁棒性，并提出SI-Score数据集；Transformer偏重形状、CNN偏重纹理，而纹理偏见不利于单目深度估计；自监督预训练结合更准确的框预测器与合成数据可提升目标检测；视觉语言基础模型微调后OOD鲁棒性更优，贝叶斯不确定性可预测OOD性能；混合网络MonoFormer泛化最佳；DeepLabv3+的性能与鲁棒性相关。
延伸解读
纹理与形状偏见：模型差异与任务影响
文章指出Transformer模型表现出强的形状偏见，而CNN模型则表现出强的纹理偏见，且纹理偏见的模型在单目深度估计中表现更差。实验证明CNN和Transformer的内在局部性会引入纹理偏见和形状偏见。这提示读者，模型架构选择可能影响其在特定任务上的表现，纹理偏见对深度估计等任务不利，而形状偏见可能更有利。
提升鲁棒性的实用策略：数据与规模
研究发现增加训练集和模型大小能显著提高分布偏移鲁棒性，简单的预处理如修改图像分辨率在某些情况下也能缓解鲁棒性问题。此外，将深层模型应用于对象区域而非整个场景可提高准确性和鲁棒性。这些发现为实际应用提供了可操作的思路：在资源允许时扩大数据与模型规模，并注意对象区域的限定。
目标检测的改进：自监督与合成数据
实验表明，之前的代表性自监督方法无法提升强DET-based方法在完整数据范围上的性能，但结合更准确的框预测器和Objects365基准可显著提高结果，在COCO验证集上达到AP=59.3%。此外，使用合成预训练数据集（LLaVA和SDXL的组合）进行预训练能显著提升目标检测性能，且未来扩展合成数据有巨大优势。这提示合成数据可能成为提升检测性能的有效途径。
OOD鲁棒性与不确定性估计的价值
研究显示，基于视觉-语言基础模型微调后，OOD鲁棒性更优，且开发了一种冻结模型的贝叶斯不确定性估计方法，低不确定性预测通常具有更高的OOD性能。这揭示了常用线上准确性和一致性指标的局限性，并强调了引入贝叶斯不确定性的潜力，对于实际应用中选择可靠模型具有参考意义。
Q&A
在ObjectNet数据集上，如何提升深度模型的准确性和鲁棒性？
将深度模型应用于对象区域而不是整个场景，并将对象区域限制在较小范围内，可以显著提高模型的准确性和鲁棒性。
增加训练集和模型规模对分布偏移鲁棒性有什么影响？
增加训练集和模型大小能显著提高分布偏移鲁棒性，同时一些简单的预处理（如修改图像分辨率）在某些情况下也能显著缓解鲁棒性问题。
Transformer和CNN在形状与纹理偏见上有何不同？这种偏见对单目深度估计有何影响？
Transformer模型表现出强的形状偏见，而CNN模型表现出强的纹理偏见。纹理偏见的模型在单目深度估计中表现更差。
如何通过自监督预训练和合成数据提升目标检测性能？
结合更准确的框预测器和Objects365基准可以显著提高目标检测结果，在COCO验证集上达到AP=59.3%，超过H-Deformable-DETR + Swin-L 1.4%；使用合成预训练数据集（LLaVA和SDXL的组合）进行预训练也能显著提升目标检测性能。
视觉语言基础模型在医学影像等分布偏移场景下的鲁棒性如何评估？
通过对基于自然图像和文本预训练的视觉语言基础模型进行微调，并评估其鲁棒性，证明了基础模型的优越性。同时开发了一种新的冻结模型贝叶斯不确定性估计方法，低不确定性预测通常具有更高的超出分布性能。
MonoFormer是什么？它在泛化性能上表现如何？
MonoFormer是一种新的CNN-Transformer混合网络，用于自监督单目深度估计。它在广泛的公共数据集上具有最佳的广义性能和分类性能。
