Apple Machine Learning Research
·
利用多模态大语言模型推进自我中心视频问答
内容提要
本文评估了多模态大语言模型在Egocentric视频问答中的表现，使用QaEgo4Dv2数据集。研究发现，经过微调的Video-LLaVa-7B和Qwen2-VL-7B-Instruct在OpenQA和CloseQA中表现优异，超越了之前的基准。然而，模型在空间推理和细粒度物体识别方面仍存在困难。
关键要点
-
Egocentric视频问答需要模型处理长时间的时间推理和第一人称视角。
-
本文系统评估了多模态大语言模型在QaEgo4Dv2数据集上的表现。
-
评估的模型包括GPT-4o、Gemini-1.5-Pro、Video-LLaVa-7B和Qwen2-VL-7B-Instruct。
-
使用零-shot和微调的方法评估OpenQA和CloseQA设置。
-
引入QaEgo4Dv2以减少QaEgo4D中的注释噪声，便于更可靠的比较。
-
微调后的Video-LLaVa-7B和Qwen2-VL-7B-Instruct在OpenQA和CloseQA中表现优异，超越了之前的基准。
-
在OpenQA中，模型性能提高了最多2.6%的ROUGE/METEOR，在CloseQA中提高了13%的准确率。
-
错误分析显示模型在空间推理和细粒度物体识别方面存在困难，需进一步改进。
延伸解读
多模态模型的优势与挑战
多模态大语言模型在Egocentric视频问答中展现了强大的能力，尤其是在处理长时间推理和第一人称视角方面。然而，尽管微调后的模型在准确率上有所提升，空间推理和细粒度物体识别的困难仍然是其主要挑战。这提示研究者在未来的模型开发中需关注这些薄弱环节。
QaEgo4Dv2数据集的意义
QaEgo4Dv2数据集的引入旨在减少注释噪声，从而提高模型评估的可靠性。这一改进不仅为当前的研究提供了更清晰的比较基础，也为后续的模型优化提供了数据支持，强调了数据质量在机器学习中的重要性。
性能提升的具体表现
经过微调的Video-LLaVa-7B和Qwen2-VL-7B-Instruct在OpenQA和CloseQA中分别提高了2.6%和13%的准确率。这一显著提升表明，针对特定任务的微调策略能够有效增强模型的表现，值得在其他领域的应用中借鉴。
延伸问答
什么是Egocentric视频问答？
Egocentric视频问答是指需要模型处理长时间的时间推理和第一人称视角的视频问答任务。
本文评估了哪些多模态大语言模型？
本文评估了GPT-4o、Gemini-1.5-Pro、Video-LLaVa-7B和Qwen2-VL-7B-Instruct等四种多模态大语言模型。
微调后的模型在OpenQA和CloseQA中的表现如何？
微调后的Video-LLaVa-7B和Qwen2-VL-7B-Instruct在OpenQA中提高了最多2.6%的ROUGE/METEOR，在CloseQA中提高了13%的准确率。
QaEgo4Dv2数据集的作用是什么？
QaEgo4Dv2数据集旨在减少QaEgo4D中的注释噪声，从而便于更可靠的比较。
模型在空间推理方面存在哪些困难？
模型在空间推理和细粒度物体识别方面存在困难，这些是需要进一步改进的关键领域。
如何评估多模态大语言模型的性能？
多模态大语言模型的性能通过零-shot和微调的方法在OpenQA和CloseQA设置中进行评估。
