针对视频中的时间句子定位的偏见 - 冲突样本合成和对抗性消除偏见策略
内容提要
该文综述视频时序定位与场景图生成中的去偏研究：提出D-TSG模型消除检索选择偏差，实现常见与罕见情况下的时序句子定位；设计新评估协议与指标校准IoU分数；采用因果推断、混洗视频、Siamese采样及自监督方法缓解时间与推理偏差；并通过因果图、两阶段因果建模和TEMPURA框架减少场景图生成偏差，提升泛化性与无偏性。
延伸解读
去偏策略覆盖两类任务
文章同时梳理了视频时序句子定位（TSG）和视频场景图生成（SGG）中的去偏研究。TSG侧重消除检索选择偏差与时间推理偏差，SGG则通过因果图、两阶段因果建模和TEMPURA框架减少关系预测偏差。读者可据此理解：去偏并非单一方法，而是针对不同任务偏差来源的系列设计。
评估协议与指标同样关键
文中提到重新组织基准数据集为不同分布，并引入dR@n、IoU@m等指标校准基础IoU分数。这说明仅看传统IoU可能掩盖模型对常见样本的依赖。新协议的价值在于监控模型在分布变化下的表现，帮助判断去偏是否真正提升泛化性，而非仅优化单一分数。
训练层面的偏差缓解手段
文章列举了混洗视频、Siamese采样与推理网络、自监督等训练策略。混洗视频通过辅助任务强化长期时序上下文理解；SSRN生成额外情境帧以更精细理解活动；ECRL则以自监督学习帧级查询相关表示。这些方法共同指向：在数据与训练目标上主动制造反偏差信号，而非仅依赖模型结构。
Q&A
视频时序句子定位中存在哪些偏差问题？
视频时序句子定位中存在选择偏差、时间偏差和推理偏差。选择偏差体现在多媒体信息检索中；时间偏差指模型过度依赖时间顺序等表面线索；推理偏差指模型忽略时序数据中的细微变化。
D-TSG模型是如何消除选择偏差的？
D-TSG模型通过去偏置设计消除多媒体信息检索中的选择偏差，从而在常见和罕见情况下都能实现时序句子定位，并在三个基准数据集上取得了最先进的表现。
有哪些方法可以缓解视频时序定位中的时间偏差？
缓解时间偏差的方法包括：使用混洗的视频并引入交叉模态匹配和时间顺序区分两个辅助任务；采用Siamese取样与推理网络（SSRN）生成额外情境帧；以及使用自监督学习框架ECRL学习更具区分性的帧级表示。
新的视频文本时间对齐评估协议有什么改进？
新的评估协议将常用数据集重新组织为不同分布，并引入新的评估度量dR@n, IoU@m来校准基本的IoU分数，从而更准确地监控时序句子定位的进展。
场景图生成中的偏差如何通过因果推断消除？
通过构建场景图生成的因果图，采用两阶段因果建模：第一阶段进行因果表示学习，第二阶段进行自适应逻辑调整，从而在头尾关系之间实现更好平衡，达到最先进性能。
TEMPURA框架如何减少视频场景图生成中的偏差？
TEMPURA框架通过基于Transformer的序列建模学习合成无偏差的关系表示，并使用高斯混合模型减少视觉关系预测的不确定性，从而生成更加无偏的场景图。
