ConRFT——Consistency Policy下RL微调VLA的方法：离线通过演示数据微调(结合Q损失和BC损失)，后在线RL微调，且引入人工干预
💡
原文中文，约5000字，阅读约需12分钟。
📝
内容提要
本文介绍了一种结合强化学习与视觉-语言-动作模型的微调方法ConRFT，旨在提升机器人任务的样本效率和安全性。ConRFT通过离线和在线两个阶段，利用人类示范数据和一致性策略，解决了传统方法在真实环境中的挑战，增强了智能机械臂的精准性和泛化能力。
🎯
关键要点
-
ConRFT是一种结合强化学习与视觉-语言-动作模型的微调方法，旨在提升机器人任务的样本效率和安全性。
-
ConRFT通过离线和在线两个阶段，利用人类示范数据和一致性策略，解决了传统方法在真实环境中的挑战。
-
离线阶段使用Calibrated Q-Learning (Cal-QL)进行微调，结合行为克隆损失以提高策略的有效性。
-
在线阶段通过Human-in-the-Loop (HIL)学习框架，结合人工干预和任务相关奖励，进一步优化VLA模型。
-
ConRFT方法能够有效处理分布外状态，提高机器人在真实环境中的操作安全性和策略学习效率。
-
该方法的设计旨在弥合强化学习与人类偏好之间的差距，提升模型的推理能力和泛化能力。
❓
延伸问答
ConRFT方法的主要目标是什么？
ConRFT方法旨在提升机器人任务的样本效率和安全性。
ConRFT的微调过程分为哪两个阶段？
ConRFT的微调过程分为离线阶段和在线阶段。
在离线阶段，ConRFT使用了什么方法进行微调？
在离线阶段，ConRFT使用Calibrated Q-Learning (Cal-QL)进行微调，并结合行为克隆损失。
在线阶段的HIL-ConRFT是如何优化模型的？
在线阶段通过Human-in-the-Loop学习框架结合人工干预和任务相关奖励来优化模型。
ConRFT如何提高机器人在真实环境中的操作安全性？
ConRFT通过有效处理分布外状态和引入人工干预来提高操作安全性。
ConRFT方法如何解决传统方法在真实环境中的挑战？
ConRFT通过结合人类示范数据和一致性策略来解决传统方法的挑战。
➡️
