GPT4Ego: 发挥预训练模型潜力的零样本个人行为识别
内容提要
本文综述视觉语言模型研究进展，涵盖自我中心视频语言预训练方法Egocentric VLP（基于Ego4D数据集，在五个任务上表现优异）、EgoThink评估基准、CLIP零样本识别偏差分析、GPT-4视觉能力评估、LEGO动作帧生成方法，以及视觉语言模型作为强化学习奖励模型的应用。
延伸解读
自我中心视频预训练的关键进展
文章介绍了Egocentric VLP方法，利用Ego4D数据集从预训练数据集、预训练目标和开发集三个方向探索自我中心视频-语言预训练，并在五个自我中心任务上表现优异。这表明针对第一人称视角的视频-语言预训练具有专门的设计空间，而非简单套用通用视频-语言模型。
零样本识别中的偏差与评估挑战
针对CLIP等对比视觉-语言模型的研究发现，模型更擅长识别细粒度概念，但相似度评分并不能严格反映文本描述的准确性，相似的模糊描述容易被混淆。作者提出评价方法评估学习性偏差，凸显了开放环境下使用视觉-语言模型的挑战，并为提升零样本能力指明了方向。
GPT-4在视觉任务中的能力定位
评估显示，利用GPT-4生成丰富的文本描述能明显提高零样本识别性能；在视觉熟练度方面，GPT-4V在16个基准数据集上的表现介于OpenAI-CLIP的ViT-L和EVA-CLIP的ViT-E之间。这说明GPT-4的视觉能力并非全面领先，而是处于特定区间，需结合任务类型理性看待。
从动作生成到强化学习奖励的应用拓展
LEGO方法通过微调视觉指导的大型语言模型生成充实的动作描述，并利用其图像和文本嵌入作为条件，在Ego4D和Epic-Kitchens上改进了动作帧生成。同时，预训练视觉-语言模型可作为无样本奖励模型，通过单句文本提示训练MuJoCo仿真人完成复杂任务，展示了在强化学习中的潜力。
Q&A
Egocentric VLP 是什么？它主要解决了什么问题？
Egocentric VLP 是一种视频-语言预训练方法，利用 Ego4D 数据集，从预训练数据集（EgoClip）、预训练目标（EgoNCE）和开发集（EgoMCQ）三个方向进行探索，旨在提升自我中心任务的性能，并在五个自我中心任务上取得了强大表现。
EgoThink 基准是什么？它有什么作用？
EgoThink 是一个基于自我中心视频和标注问答对构建的评估基准，用于评估视觉语言模型在自我中心任务上的表现。对十八个流行模型的评估表明，增加可训练参数数量能显著提升模型性能，因此 EgoThink 是推进具身人工智能和机器人技术的宝贵资源。
CLIP 等视觉语言模型在零样本识别中存在哪些偏差？
研究表明，CLIP 等对比视觉-语言模型更擅长识别细粒度概念，但相似度评分并不能严格反映文本描述的准确性。相似的模糊描述容易被模型混淆识别，这凸显了在开放环境下使用视觉语言模型的挑战。
GPT-4 在零样本视觉识别任务中的表现如何？
利用 GPT-4 生成丰富的文本描述可以明显提高零样本识别性能。在视觉熟练度方面，GPT-4V 在 16 个基准数据集上的表现介于 OpenAI-CLIP 的 ViT-L 和 EVA-CLIP 的 ViT-E 之间。
LEGO 方法如何生成以自我为中心的动作帧？
LEGO 方法通过视觉指导优化自然语言大型模型（VLLM），用充实的动作描述进行微调，并利用来自 VLLM 的图像和文本嵌入作为附加条件，生成以自我为中心的动作帧。在 Ego4D 和 Epic-Kitchens 数据集上的实验证明，该方法在定量和定性评估上均优于先前的图像操作模型。
视觉语言模型如何作为强化学习的奖励模型？
使用预训练的视觉语言模型作为无样本奖励模型，通过单个句子文本提示指定任务，可以训练 MuJoCo 仿真人完成复杂任务。这表明未来的视觉语言模型将在广泛的强化学习应用中成为更加有用的奖励模型。
