PIVOT：迭代式视觉提示为 VLMs 引发可采取行动的知识
内容提要
本文综述多模态提示学习进展：PIVOT利用预训练知识减少参数与遗忘，提升持续学习；DVP将预训练语言模型用于视觉语言推理；VIMA实现机器人操作零样本泛化；利用视觉语言模型知识加速强化学习；PRM让机器人模态经语言模型通信；PiVe通过迭代验证提升文本生成图能力。
延伸解读
PIVOT 的持续学习优势
PIVOT 利用预训练模型中的知识，减少可训练参数和遗忘，是首个有效使用提示机制进行持续学习且无需领域内预训练的方法。在 20 个任务 ActivityNet 设置上，其表现提高了 27%，改进了现有方法。这表明提示机制在持续学习中能有效缓解灾难性遗忘，同时降低对领域内预训练的依赖。
视觉提示与语言模型结合
DVP 将预训练语言模型作为独立模型进行视觉语言推理，通过搜索算法在保持 PLMs 参数完整的情况下，将其与不同视觉语言任务结合。实验验证了 DVP 在效率和性能上的优势，能很好地适应 PLMs 与 VL 任务结合的需求。这为跨模态任务提供了一种参数高效的迁移学习思路。
机器人操作中的提示学习
VIMA 使用多模态提示设计基于转换器的通用机器人代理，可表达多种机器人操作任务，并在零样本泛化情况下优于先前最优方法。PRM 则通过语言模型提示让机器人模态独立通信，由 LLM 中介任务执行。这些工作展示了提示学习在机器人领域的潜力，能提升泛化性和任务适应性。
强化学习与视觉语言模型知识
利用视觉语言模型（VLMs）的通用世界知识和可索引知识，可以初始化强化学习策略，通过提示提供任务背景和辅助信息。在 Minecraft 和 Habitat 任务中，基于 VLM 嵌入的策略表现优于从通用非可提示图像嵌入训练的策略，并与领域特定嵌入效果相当。这为强化学习利用预训练知识提供了新途径。
Q&A
PIVOT 方法在持续学习中的主要创新点是什么？
PIVOT 是第一种有效使用提示机制进行持续学习且无需领域内预训练的方法，它利用预训练模型中的知识来减少可训练参数的数量和相关遗忘。
DVP 如何将预训练语言模型用于视觉语言推理？
DVP 通过搜索算法动态生成视觉提示，在保持预训练语言模型参数完整的情况下，将其与不同的视觉语言任务有效结合。
VIMA 在机器人操作任务中表现如何？
VIMA 是一个基于转换器的通用机器人代理，使用多模态提示设计，可以表达多种机器人操作任务，并在新颖的零激励泛化情况下优于先前的状态最优方法。
如何利用视觉语言模型加速强化学习？
通过将视觉语言模型作为可提示的表示方式来初始化策略，提供任务背景和辅助信息，这些嵌入基于视觉观察进行接地并编码了VLM内部知识的语义特征，从而加速强化学习。
PRM 是什么？它在机器人设计中如何应用？
PRM 是 Prompting Robotic Modalities 的缩写，是一种新的机器人设计模式，通过语言模型提示让机器人模态独立通信，中央任务模态通过大型语言模型中介整个通信过程以执行机器人任务。
PiVe 框架如何提升基于图形的文本生成能力？
PiVe 利用迭代验证提高 LLMs 的基于图形的生成能力，通过迭代训练验证模块来改善性能，并可以离线应用迭代更正以提高文本到图形生成任务的效率，同时验证模块还能作为数据增强工具提高自动生成的平行文本-图形数据集的质量。
