Lexicon3D：探讨视觉基础模型在复杂3D场景理解中的应用
原文中文，约300字，阅读约需1分钟。发表于：。本研究针对复杂3D场景理解中的场景编码策略问题，探讨了不同视觉编码模型在多种场景下的优缺点。研究发现，DINOv2表现优异，视频模型在对象级任务中表现突出，而扩散模型在几何任务上表现良好，并指出语言预训练模型在语言相关任务中存在意外局限。这些发现推动了对视觉基础模型的重新思考，并强调了未来在视觉语言和场景理解任务中灵活选择编码器的必要性。
本研究通过引入场景语料库和视觉语言对，展示了Grounded Pre-training for Scenes (GPS)在3D视觉语言学习中的有效性，并在3D视觉定位基准和零样本迁移实验中取得了最先进的性能。
