以场景为驱动的多模态知识图构建用于具象人工智能

该文介绍了一项名为“实体说明”的新任务，旨在将视觉说明模型与导航能力相结合，以主动探索场景并减少来自次优视角的视觉模糊。作者构建了一个包含10K个混乱物体的3D场景和每个场景三个注释段落的ET-Cap数据集，并提出了一个级联实体说明模型（CaBOT），用于处理这个任务。实验证明，该模型优于其他精心设计的基线模型。数据集、代码和模型可在链接中获得。