技能集优化：通过可转移技能强化语言模型行为
内容提要
该文综述利用大语言模型提取任务知识、构建奖励函数与技能学习的研究，通过环境反馈迭代对齐奖励参数以实现物理技能高效学习，并提出零样本从职位描述提取技能、BOSS技能引导、潜在变量技能提取及Skill-It在线采样等方法，同时探索LLM接地与技能空间规划以提升长期任务学习效率。
延伸解读
技能提取的零样本突破
文章提到一项基于大语言模型的端到端零样本技能提取系统，能够从职位描述中提取技能，并在ESCO框架上取得良好结果，无需人工标注。这展示了LLM在技能识别方面的潜力，可降低对标注数据的依赖，为自动化技能分析提供新途径。
奖励函数与技能学习的迭代对齐
利用LLM提出奖励函数的特征和参数，并通过迭代自对准过程更新参数，使LLM与学习到的奖励函数排名一致。该方法在三个模拟物理技能学习任务中验证有效，表明LLM可以辅助设计奖励函数，提升物理技能学习效率。
BOSS方法：无奖励反馈的技能引导
BOSS方法利用LLM引导技能启动阶段，无需奖励反馈即可学习新任务，在新环境中零尝试执行未见过长远任务方面优于先前无监督技能获取方法。这提示LLM可以加速技能获取，减少对奖励信号的依赖，适用于探索性任务。
技能空间规划与长期任务效率
SkiMo框架使用技能动力学模型进行规划，在导航和操作领域实验表明，能扩大时间范围并提高示范效率。这表明结合技能空间规划可以提升长期任务学习效率，为复杂任务提供更有效的解决方案。
Q&A
如何利用大语言模型为物理技能学习创建奖励函数？
利用大语言模型提出奖励函数的特征和参数，然后通过迭代自对准过程更新这些参数，使语言模型与学习到的奖励函数的排名一致，从而为物理技能创建高效的奖励函数。
BOSS方法在技能学习中的主要优势是什么？
BOSS方法利用大语言模型引导技能启动阶段，无需奖励反馈即可实现新任务的学习，从而在新环境中零尝试执行未见过的长远任务方面优于先前的无监督技能获取方法。
如何从职位描述中零样本提取技能？
基于大语言模型的端到端零样本系统可以从职位描述中提取技能，无需人工标注，并在ESCO框架上取得了有前景的结果。
潜在变量模型在技能学习中如何应用？
使用潜在变量模型最大化预收集经验的可能性，结合描述长度惩罚的新目标，可以使技能更好地从经验中提取共同结构，并在高维图像观察的挑战性任务中验证。
Skill-It在线采样算法有什么作用？
Skill-It是一种在线数据采样算法，用于在连续预训练和微调中高效学习多个技能，通过学习一组语言模型的技能顺序，提升下游模型性能并减少数据训练量。
如何解决大语言模型在真实环境中的接地问题？
提出了自主驱动接地（SDG）框架，通过自主驱动技能学习自动和渐进地将LLM接地，在BabyAI任务集中达到与模仿学习相媲美的性能。
