本文介绍了一种新的指代多目标跟踪（RMOT）任务，利用语言表达作为语义线索。作者构建了Refer-KITTI基准，并开发了TransRMOT架构，取得了优异的检测性能。此外，提出了Elysium多模态语言模型和EchoTrack模型，解决了视频中的物体跟踪问题，并建立了AR-MOT基准测试集。研究还提出了基于自然语言描述的3D视觉定位方法，贡献了STRefer和LifeRefer数据集，推动了自动驾驶和服务机器人的发展。

本文介绍了多个利用多模态大语言模型（MLLMs）进行视觉感知和视频理解的框架，如RoboLLM、VideoLLM和HiLM-D。这些框架在多目标跟踪、视频理解和自动驾驶任务中表现出色，展示了LLMs在复杂视觉任务中的潜力。