Robo-ValueRL——面向离线到在线RL的可靠价值估计：同时捕捉全局任务进度和局部动作偏好，先离线预训练，后在线提升(即在线残差策略自适应)
内容提要
Robo-ValueRL提出统一框架，研究离线到在线强化学习中价值估计可靠性对策略优化的影响。它训练历史条件价值估计器，用全局进度和局部偏好指标评估可靠性，并用于质量条件预训练和在线残差自适应。实验显示，可靠价值函数能提升动作质量估计，稳定在线提升，使芯片插入成功率达86%。
延伸解读
价值可靠性为何关键
文章指出，离线到在线强化学习中，价值估计的可靠性直接影响策略优化。不准确的价值函数会错误排序经验，导致学习不稳定；而可靠的价值函数能优先利用高质量数据，提升动作质量估计。Robo-ValueRL通过全局进度和局部偏好两个指标，系统评估价值可靠性，为诊断和提升下游性能提供了依据。
历史条件化解决视觉歧义
在长时域操作任务中，单帧视觉观测常因遮挡或重复模式产生歧义，导致价值估计不准。Robo-ValueRL采用历史条件化价值估计器，融合当前观测与历史信息，缓解部分可观测性问题。这一设计使得价值函数能更准确反映任务进度，为后续策略学习提供可靠信号。
质量条件预训练与在线残差自适应
Robo-ValueRL利用价值估计生成动作质量指示器，用于质量条件化预训练，使策略区分高质量与次优行为。在线阶段，冻结预训练策略，仅学习轻量级残差适配器，在保留先验的同时针对性修正失败模式。实验显示，该方法在芯片插入任务中达到86%成功率，验证了可靠价值估计的实用价值。
Q&A
Robo-ValueRL 主要解决什么问题？
Robo-ValueRL 主要解决离线到在线强化学习中价值估计的可靠性问题，研究价值函数如何影响策略预训练和在线提升，并提出了一个统一框架来提升价值估计的可靠性。
Robo-ValueRL 如何评估价值估计的可靠性？
Robo-ValueRL 通过全局进度（global-progress）和局部偏好（local-preference）两个指标来评估价值估计的可靠性。全局进度衡量价值是否反映长时间尺度的任务推进，局部偏好衡量价值是否刻画细粒度的动作质量。
Robo-ValueRL 的框架包含哪些主要组件？
Robo-ValueRL 包含三个主要组件：历史条件化价值估计器、质量条件化的视觉-语言-动作模型（VLA）以及在线残差自适应模块。价值估计器用于估计任务进度和动作质量，质量条件化 VLA 用于离线预训练，残差自适应模块用于在线提升。
Robo-ValueRL 如何利用价值估计进行离线预训练？
Robo-ValueRL 利用价值估计器对离线经验进行打分，生成动作质量指示器，然后训练一个以质量为条件的 VLA 模型，该模型通过一致性策略头实现一步去噪，从而在推理时生成高质量动作。
Robo-ValueRL 的在线提升阶段是如何设计的？
在线提升阶段，Robo-ValueRL 冻结预训练策略，仅基于真实环境交互数据学习一个轻量级残差适配器，同时更新价值估计器并筛选高质量在线片段用于训练，从而在保留先验知识的同时修正失败模式。
Robo-ValueRL 在实验中取得了什么成果？
实验表明，可靠的价值函数能提升动作质量估计，稳定在线提升，使芯片插入成功率达到 86%。此外，价值引导的离线强化学习比质量无关的行为克隆具有更好的扩展性。
Robo-ValueRL 为什么采用历史条件化的价值估计器？
因为在长时域机器人操作任务中，单帧价值估计存在歧义，遮挡和重复的视觉模式会导致不同任务阶段在视觉上相似。历史条件化可以融合过去观测的紧凑表示，从而提供更可靠的价值预测。
