Cal-QL（校准Q学习）是一种提高离线强化学习后在线微调效率的方法。它通过校准Q值，避免了传统方法中的“遗忘”现象，确保学习到的Q值不低于参考策略的价值，从而防止智能体在微调时误认为新动作更优，导致性能下降。该方法在离线预训练后，通过在线交互进行有效的策略微调，提升了样本效率和策略性能。

本文介绍了RECAP框架在π∗0.6模型中的应用，通过结合示范数据和自主经验，提升机器人在复杂任务中的学习能力。该框架采用离线预训练和在线微调，优化决策过程，显著提高了机器人在制作咖啡和折叠衣物等任务中的表现。