本研究提出了一种增强多模式大型语言模型可解释性的方法，结合图像嵌入和开放世界定位模型，改善文本与物体定位输出。通过特征混合方法提升视觉能力，构建了多模态几何数据集Geo170K，并在多个基准测试中展示了显著的性能提升，强调了多模态理解的重要性和应用潜力。

研究展示了CriticGPT多模式语言模型，可理解机器人操纵任务中的轨迹视频并提供分析和偏好反馈。实验评估表明该模型具有有效的泛化能力，在Meta-World任务上表现出优越性能。