本文讨论了在真实世界中部署通用机器人策略的挑战，提出了一种名为“部署中学习”（LWD）的框架，通过车队规模的离线到在线强化学习（RL）实现策略的持续改进。该方法结合离线数据和在线交互，利用多样化的部署经验，优化策略以适应新任务和环境。作者提出的分布式隐式价值学习（DIVL）和带有伴随匹配的Q学习（QAM）技术，旨在提高策略的稳定性和泛化能力，实现高效的后训练。