Robo-ValueRL提出统一框架，研究离线到在线强化学习中价值估计可靠性对策略优化的影响。它训练历史条件价值估计器，用全局进度和局部偏好指标评估可靠性，并用于质量条件预训练和在线残差自适应。实验显示，可靠价值函数能提升动作质量估计，稳定在线提升，使芯片插入成功率达86%。