本文介绍了多种基于大型语言模型(LLMs)的规划方法,包括DDN框架、LLM-Planner和SimPlan,旨在解决复杂任务的过程规划问题。研究表明,结合视觉信息和弱监督学习可以提升规划性能,尤其在教学视频中。CLIPS模型通过贝叶斯推理实现灵活的指令跟随,RAP模型通过自适应方法优化过程规划,MM-PlanLLM增强了多模态输入输出的处理能力。
本研究提出了一种基于事件引导的范式,用于从带有文本监督的指令视频中进行过程规划的任务。该模型采用遮盖和预测方法进行关系挖掘,并将事件信息编码到顺序建模过程中来支持过程规划。实验证明了该模型的有效性。
完成下面两步后,将自动完成登录并继续当前操作。