从确定到不确定的回答：针对视频问答的不确定性感知课程学习
内容提要
该文汇总了多项视频问答与不确定性建模研究：提出神经不确定性量化器的层次变分框架以预测视频帧；利用自动生成问答对与自适应学习提升视频问答；采用自监督预训练、对比学习和局部对齐注意力；用梯度估计改进视觉问答的确定性与注意力解释；将大语言模型转为可估计不确定性的模型；设计端到端VideoQA框架与异构内存；提出课程强化学习目标生成；结合多模态对齐与层次框架；并通过多任务学习提供额外监督。
延伸解读
不确定性建模的多路径探索
文章汇总的研究从不同角度处理视频问答中的不确定性：神经不确定性量化器用于视频帧预测，梯度估计方法提升视觉问答的确定性与注意力解释，以及将大语言模型转换为可估计不确定性的模型。这些工作表明，不确定性建模并非单一技术，而是可嵌入生成、解释和预测等多个环节，为提升模型可靠性提供了多样化的思路。
数据效率与监督信号的补充
针对视频问答数据标注昂贵的问题，文章提及了自动生成问答对、自监督预训练、对比学习以及多任务学习等策略。这些方法通过利用未标注数据或辅助任务提供额外监督，减少对大规模人工标注的依赖。其中多任务学习在TVQA上的表现说明，合理设计辅助任务和训练调度能有效提升主任务性能。
课程学习与强化学习的结合
文章介绍了将课程学习与强化学习结合的目标生成方法，通过二分图匹配解决课程指导的精确性问题。这种方法旨在让模型按难度渐进学习，并动态调整训练目标。相比传统课程RL方法，它在数量和质量上均有提升，为视频问答的训练策略提供了新视角。
架构创新与多模态对齐
端到端VideoQA框架通过异构内存、重设计的问题内存和多模态融合层实现多步推理，而另一项工作结合多模态对齐与层次化框架在NExT-QA上表现优异。这些架构创新强调了对视频和文本线索的联合建模与对齐，提示未来系统设计需更注重模态间的交互与记忆机制。
Q&A
视频问答中如何利用不确定性感知的课程学习来提升模型性能？
文章提出了一种针对增强学习的不确定性和时间距离感知课程目标生成方法，通过解决二分图匹配问题为课程提供精确指导，从而更好地解决先前课程RL方法中存在的问题，并在数量和质量上显著优于这些方法。
有哪些方法可以提升视频问答模型的推理能力？
文章提到了多种方法：端到端VideoQA框架通过异构内存、重设计的问题内存和多模式融合层实现多步推理；多模态对齐与层次化框架结合轨迹特征和训练数据扩充；以及通过多任务学习提供额外监督，包括多模态视频问答网络、时间检索网络和模态对齐网络，通过层次共享中间层同时解决辅助任务。
如何让大语言模型在问答中估计不确定性并提高准确性？
文章提出一种自动化的大语言模型转换方法，产生具有不确定性感知能力的LLM，该方法与模型和数据无关、计算效率高、不依赖外部模型。在选择性问答环境下评估，在SQuAD和TruthfulQA任务上测试BERT和Llama 2变体，表明使用不确定性估计有选择性地回答问题可以显著提高准确性。
视频问答中如何利用自动生成的问答对和自适应学习？
文章提出了一种可扩展的视频问答技术，利用自动生成的大量候选问题-答案对，并使用自适应学习方法来处理其中存在的非理想数据，取得了优于基线模型的效果。
视觉问答任务中如何通过梯度估计提高确定性和解释性？
文章提出基于梯度的确定性估计方法，利用这些估计获得可视化的注意力图，从而提高深度学习模型的确定性估计和解释能力，并在标准基准测试中提供实证分析和比较。
视频问答中自监督预训练和对比学习是如何应用的？
文章介绍了一种多项选择视频问答训练方案，包括自监督预训练阶段和监督对比学习的辅助学习。在自监督预训练中转化原始问题格式以预测相关问题并提供更广泛背景输入；在对比学习主阶段添加屏蔽噪声，通过将正样本映射到受掩输入来改进模型表现，并采用本地对齐注意力更有效地关注相关字幕句子的视频帧。
