LSeg是一种新的语言驱动的语义图像分割模型，使用文本编码器和基于transformer的图像编码器计算输入标签和图像的嵌入。LSeg具有高度竞争的零-shot性能，能够对未知类别进行泛化，无需重新训练或仅需要单个样本的训练。

该文章介绍了语言驱动的视频修复任务和ROVI数据集。作者提出了基于扩散的语言驱动视频修复框架，整合了多模态大规模语言模型，能够有效地理解和执行复杂的修复请求。作者展示了数据集的多样性和模型在不同语言指导下的有效性。他们还表示将公开发布数据集、代码和模型。

该文介绍了一种新算法LGX，实现机器人导航到未被探索的目标对象。利用语言驱动、零-shot方式，将环境的语义上下文映射为机器人运动规划的连续输入。同时利用预训练的视觉语言接地模型进行目标检测。在RoboTHOR上实现了最新的零-shot目标导航结果，成功率提高了超过27%。通过真实世界实验展示了LGX方法的优越性能。