DKPROMPT：领域知识引导视觉 - 语言模型进行开放世界规划
内容提要
本文探讨了通过编程提示结构和广义领域提示学习（GDPL）框架，提升视觉语言模型（VLMs）在特定领域的应用。GDPL利用小规模基础模型和少量提示样本，减少对大量数据和资源的依赖，促进可持续的VLMs研究。实验结果显示，该框架在多个领域的任务中表现优异，推动了学术界与工业界的合作。
延伸解读
GDPL：降低领域VLM研究门槛
GDPL框架通过小规模领域基础模型和少量提示样本，将VLM的识别能力从自然视觉迁移到特定领域，无需大量数据和计算资源。这有助于缓解学术界资源受限的问题，促进更公平的研究。实验覆盖遥感、医学成像等多个领域，验证了其有效性。
动态视觉提示：高效结合PLM与视觉任务
DVP方法利用搜索算法，在保持预训练语言模型参数不变的情况下，将其与不同视觉语言任务结合。实验表明，DVP在效率和性能上均有优势，为PLM在视觉语言推理中的应用提供了新思路。
领域感知提示学习：提升视觉语言导航
DAP框架通过低成本提示调整，为预训练模型注入对象级和场景级的跨模态对齐，在R2R和REVERIE任务上优于现有方法。这表明提示学习能有效提升VLN任务的领域适应性。
机器人规划中的提示学习进展
ViLa结合视觉语言模型与长期规划，在开放世界操纵任务中展现优势；GameVLM利用GPT-4V和多智能体博弈，达到83.3%的平均成功率；还有方法将语言模型与符号规划器结合，生成问题描述驱动规划，准确率超99%。这些工作显示了提示学习在机器人任务规划中的潜力。
Q&A
广义领域提示学习（GDPL）框架的主要优势是什么？
GDPL框架通过小规模基础模型和少量提示样本，减少了对大量数据和资源的依赖，促进了可持续的视觉语言模型研究。
动态视觉提示（DVP）方法如何提高视觉语言任务的效率？
DVP方法通过搜索算法有效结合预训练语言模型与视觉语言任务，保持模型参数完整性，从而在效率和性能上具有优势。
领域感知提示学习（DAP）框架在视觉语言导航任务中有什么优势？
DAP框架提供特定对象级和场景级的跨模态对齐，显示出明显的优势，能够高效地注入领域内视觉知识。
机器人模态语言模型（MLM）是如何提升机器人任务执行能力的？
MLM通过提示实现与特定机器人模态的独立通信，提升了机器人在执行任务时的能力。
Robotic Vision-Language Planning (ViLa)方法的主要特点是什么？
ViLa方法结合视觉语言模型和长期规划，通过直接整合感知数据生成可行步骤序列，展示在开放世界操纵任务中的优势。
GDPL框架在不同领域的实验结果如何？
GDPL在遥感、医学成像、地质学等多个领域的实验中表现优异，展示了其在领域识别性能上的能力。
