该文章介绍了实体说明任务,结合视觉说明模型和导航能力,减少次优视角的视觉模糊。作者构建了包含10K个混乱物体的3D场景和注释段落的ET-Cap数据集,并提出了级联实体说明模型(CaBOT)。实验证明CaBOT优于其他基线模型。
当前的视觉说明模型假设图像是完整呈现场景的完美捕捉,但在真实世界中,图像可能没有提供良好的视角,限制了对细粒度场景的理解。为了克服这一限制,提出了一项名为“实体说明”的新任务,将视觉说明模型与导航能力相结合,主动探索场景并减少视觉模糊。构建了一个包含10K个混乱物体的3D场景和每个场景三个注释段落的ET-Cap数据集,用于支持该任务。提出了一个级联实体说明模型(CaBOT),由导航器和说明器组成,用于处理这个任务。广泛的实验证明该模型优于其他基线模型。数据集、代码和模型可在链接中获得。
完成下面两步后,将自动完成登录并继续当前操作。