OSCaR：对象状态字幕和状态变化表示
内容提要
该文汇总多项研究：视频对象状态变化（OSC）至关重要，VidOSC利用文本与视觉语言模型监督，无需人工标注，并提出开放世界基准HowToChange；OaSC实现零样本对象无关状态分类；NOC、Oscar等推进图像字幕与视觉语言预训练；此外还涉及Transformer视频识别、图像哈希、语音识别字幕及数据集等工作。
延伸解读
开放世界视频状态变化定位的进展
VidOSC 提出了一种无需人工标注的开放世界视频对象状态变化（OSC）定位方法，利用文本和视觉语言模型提供监督信号，并从对象中抽象出共享状态表示以增强泛化。同时发布的 HowToChange 基准在标签空间和注释量上比现有最佳基准提升了一个数量级，为开放世界 OSC 研究提供了更全面的评估平台。
零样本对象状态分类的可行性
OaSC 方法表明，对象状态分类可以作为一种零样本学习问题来处理，且不依赖于对象类别的知识。通过知识图谱组织结构化知识并结合视觉信息，OaSC 能够推断训练集中未遇到的对象/状态对的状态，并在多个数据集上显著优于现有方法。这提示对象类别的知识并不决定其状态的预测。
视觉语言预训练与图像字幕的演进
从 NOC 利用外部数据源和语义嵌入识别罕见物体，到 Oscar 以目标检测标签作为锚点简化图像-文本对齐，这些工作推动了视觉语言预训练和图像字幕的发展。它们共同关注如何利用外部知识或检测信息提升模型对新颖物体的描述能力，为后续研究奠定了基础。
多领域中的状态与偏见处理
文章还涉及多个相关方向：基于 Transformer 的视频识别模型在 Ego4D 挑战赛中验证了时间建模对物体状态变化分类的重要性；OSCAR-Net 将注意力机制用于图像哈希以实现内容指纹；OSCaR 方法则专注于解开概念间的偏见关联，在保留语义信息的同时缓解性别偏见。这些工作展示了状态变化和表示学习在不同任务中的广泛应用。
Q&A
VidOSC 是什么？它如何解决视频对象状态变化问题？
VidOSC 是一种整体学习方法，用于视频对象状态变化（OSC）问题。它利用文本和视觉-语言模型提供监督信号，无需手动标注 OSC 训练数据，并从对象中抽象出细粒度的共享状态表示来增强泛化性能。
HowToChange 基准是什么？它有什么特点？
HowToChange 是第一个用于视频 OSC 定位的开放世界基准，与现有最佳基准相比，其标签空间和注释量增加了一个数量级。
OaSC 方法如何实现零样本对象状态分类？
OaSC 是第一个不依赖于对象类别的对象无关状态分类方法，它通过在知识图谱中组织和结构化知识，结合视觉信息，推断出训练集中未遇到的对象/状态对的对象状态。
NOC 模型有什么作用？
NOC（Novel Object Captioner）模型利用外部数据源和语义嵌入，使模型适用于不在现有图像字幕数据集中出现的数百种物体分类，并表现出对现有罕见分类的能力，在描述物体方面比之前的工作表现更好。
Oscar 模型在视觉-语言任务中取得了什么成果？
Oscar 是一种基于目标检测的图像-文本预训练学习方法，通过使用在图像中检测到的目标标签作为锚点，显著简化模型中的图像与文本的语义对齐，在六个视觉-语言理解和生成任务中创造了新的最好成果。
OSCaR 方法如何降低偏见？
OSCaR 是一种新的降低偏见的方法，专注于解开概念之间的偏见关联而非整体去除概念。实验结果表明，OSCaR 方法保证了嵌入中的语义信息被保留且能够有效地缓解偏见，特别是在性别偏见的情况下表现出良好的平衡性。
