VisionGPT: 基于 LLM 辅助的实时异常检测用于安全视觉导航
内容提要
本文提出了一种新型导航框架，结合大型语言模型和视觉语言技术，应用于视觉导航任务。框架包括指令解析、视觉-语言地图构建、定位和动作预测等组件。实验结果表明，该方法在真实环境中优于现有基线，显示出在多机器人协作和工业异常检测等领域的潜力，显著提高了模型的性能和准确率。
延伸解读
框架核心：LLM 与视觉语言技术的融合
该导航框架将大型语言模型（LLM）与视觉语言技术结合，包含四个关键组件：指令解析器、在线视觉-语言映射器、基于语言索引的定位器和本地控制器。指令解析器将语言指令转换为预定义的宏操作描述；映射器实时构建视觉-语言地图以理解未知环境；定位器将宏操作重新映射到地图上的路径点；控制器基于 DD-PPO 预测动作。这种设计旨在提升视觉导航任务在真实环境中的性能。
实验验证：真实环境中的性能优势
在未知的实验室环境中，使用 Interbotix LoCoBot WX250 机器人对提出的流程进行了评估，无需任何微调。实验结果表明，该流程在真实世界中明显优于最先进的视觉语言导航（VLN）基线。这证明了结合 LLM 和视觉语言技术的框架在真实场景中的有效性和鲁棒性，为后续应用奠定了基础。
扩展应用：多机器人协作与工业异常检测
文章还介绍了两个相关应用：Co-NavGPT 将 LLM 作为多机器人合作视觉目标导航的全局规划器，通过编码探索环境数据为每个机器人分配探索边界，在成功率和效率上优于现有模型；AnomalyGPT 是一种基于大型视觉语言模型（LVLM）的工业异常检测方法，通过模拟异常图像和生成文本描述来训练，在 MVTec-AD 数据集上实现了 86.1% 的准确率、94.1% 的图像级 AUC 和 95.3% 的像素级 AUC。这些展示了 LLM 在协作导航和异常检测领域的潜力。
技术细节：多模态模型增强与评估
通过融合先进的目标检测和光学字符识别模型（如 DINO 和 PaddleOCRv2），研究改善了多模态大型语言模型对细粒度图像的理解并减少了虚构现象。系统实验表明，改进后的模型在 10 个基准测试中有 9 个超过了先进模型，规范化平均得分最高提升 12.99%。此外，研究还评估了视觉语言模型在自动驾驶场景中的应用，发现其在场景理解和因果推理方面表现优越，但在方向辨别、交通信号识别等任务上仍存在挑战。
Q&A
VisionGPT的主要功能是什么？
VisionGPT是一个结合大型语言模型和视觉语言技术的导航框架，主要用于视觉导航任务。
AnomalyGPT在工业异常检测中表现如何？
AnomalyGPT在MVTec-AD数据集上实现了86.1%的准确率，94.1%的图像级AUC和95.3%的像素级AUC。
Co-NavGPT如何提高多机器人合作的效率？
Co-NavGPT通过编码环境数据，为每个机器人分配探索边界，从而实现高效的目标搜索。
VisionGPT的框架包含哪些关键组件？
VisionGPT的框架包括指令解析、视觉-语言地图构建、定位和动作预测等组件。
VisionGPT在真实环境中的表现如何？
实验结果表明，VisionGPT在真实环境中明显优于现有基线，显示出其在多机器人协作和工业异常检测中的潜力。
VisionGPT如何改善细粒度图像理解能力？
通过融合先进的目标检测和光学字符识别模型，VisionGPT改善了对细粒度图像理解的能力。
