GH-ESD：面向实例级视觉任务的基于假设驱动的错误切片发现
内容提要
GH-ESD提出一种基于假设驱动与验证的框架，用于发现实例级视觉任务（如检测和分割）中的错误切片。它利用大语言模型生成关系性失败假设，并通过视觉语言模型和统计验证进行确认。研究还引入GESD基准数据集，实验显示该方法在检测任务上显著优于现有方法，并能提供可解释的改进建议。
延伸解读
从图像级到实例级：错误切片发现的范式转变
传统错误切片发现方法主要针对图像级分类任务，将切片视为表示空间中的聚类或预定义属性的组合。然而，在目标检测和分割等实例级任务中，模型失败往往源于上下文关系或空间模式，例如物体间的相对位置或遮挡关系。GH-ESD将问题重新定义为基于假设的生成与验证，利用大语言模型和视觉语言模型捕捉这些关系性失败模式，从而更精准地定位系统性问题。
GESD基准：填补实例级错误切片评估空白
文章引入了GESD数据集，专门用于实例级错误切片发现，包含由专家定义且具有空间依据的切片，这些切片源自检测和分割失败案例。该基准的提出为评估实例级错误切片方法提供了标准，弥补了现有基准多聚焦于图像级任务的不足。实验表明，GH-ESD在GESD上检测任务的Precision@10达到0.73，显著优于基线方法的0.63，验证了其有效性。
可解释性驱动的模型改进路径
GH-ESD不仅识别错误切片，还提供可解释的切片描述，这些描述有助于理解模型失败的具体原因。通过统计趋势分析验证假设，该方法能够生成可操作的改进建议，例如针对特定关系模式进行数据增强或调整模型结构。这种从发现到解释再到改进的闭环，为提升实例级视觉模型的鲁棒性提供了实用工具。
Q&A
GH-ESD是什么？它主要解决什么问题？
GH-ESD是一种基于假设驱动与验证的框架，用于发现实例级视觉任务（如目标检测和分割）中的错误切片。它解决了现有切片发现方法主要针对图像级分类、难以捕捉实例级任务中由上下文关系和空间模式导致的失败的问题。
GH-ESD的工作原理是什么？
GH-ESD采用生成与验证的框架：首先利用大语言模型（LLM）的先验知识和视觉证据构建关系性失败假设，然后通过视觉语言模型（VLM）在实例级别发现假设切片，最后通过统计趋势分析验证这些切片。
GH-ESD在实验中表现如何？
在GESD基准上，GH-ESD在检测任务中显著优于现有方法，Precision@10达到0.73，比基线高0.10（基线为0.63），并且也支持分割场景。
GESD数据集是什么？
GESD（Grounded Error Slice Dataset）是GH-ESD论文中引入的基准数据集，用于实例级错误切片发现，包含由专家定义且空间定位的切片，这些切片来源于检测和分割任务的失败案例。
GH-ESD相比现有方法有什么优势？
GH-ESD的优势在于它能够发现实例级任务中由上下文关系和空间模式导致的错误切片，而现有方法主要针对图像级分类，难以捕捉这类失败。此外，GH-ESD发现的切片具有可解释性，能提供可操作的模型改进建议。
GH-ESD如何提供可解释的改进建议？
GH-ESD通过生成和验证假设切片，识别出模型在特定语义子集上的系统性失败，这些切片是解释性的，可以帮助研究者理解模型失败的原因，并据此进行针对性的改进。
