Yann LeCun不看好强化学习：「我确实更喜欢 MPC」
内容提要
Meta 的首席 AI 科学家 Yann LeCun 更倾向于使用模型预测控制（MPC）而非强化学习（RL），因为前者效率更高且对试错的需求更低。他建议尽量减少使用 RL，专注于从主要观察中学习世界及其模型的良好表示。MPC 在控制性能和效率方面显示出显著的改进。然而，有人认为解决精确的 MPC 模型具有挑战性，并且实现良好的世界模型也很困难。人们认为 RL 和 MPC 并不互相排斥，可能各自有其适用的场景。
延伸解读
LeCun 为何更青睐 MPC：零样本与规划优势
LeCun 认为强化学习需要大量试错，效率低下，而 MPC 在拥有良好世界模型和任务目标时，无需特定任务学习即可解决新任务，即零样本能力。这源于 MPC 利用模型进行规划，而非依赖反复试验。因此，他主张将强化学习作为最后手段，优先从观察中学习世界模型。
MPC 的工程根基与机器学习融合
MPC 自二十世纪六七十年代起便广泛应用于化工、制造、机器人等领域，其核心是利用数学模型预测未来行为并优化控制。近年来，MPC 与机器学习结合形成 ML-MPC，通过数据驱动模型克服传统 MPC 的局限，能适应动态环境并降低模型复杂度，但需大量数据且可解释性差。
RL 与 MPC 的适用场景对比
强化学习适合复杂动力学或未知系统模型的问题，通过试错学习策略；MPC 则更适合建模良好且动态可预测的问题，基于模型进行优化。两者并非互斥，已有研究将二者结合并取得良好效果。选择取决于问题特性：难以建模时用 RL，模型精确时用 MPC。
MPC 落地 AI 的挑战与争议
尽管 LeCun 推崇 MPC，但实现精确的 MPC 模型本身困难，且其前提“良好的世界模型”难以获得。ML-MPC 虽能提升性能，却依赖大量数据且可解释性差。因此，将 MPC 引入 AI 领域仍面临诸多挑战，需要进一步研究。
Q&A
Yann LeCun为什么更倾向于模型预测控制（MPC）？
Yann LeCun认为MPC效率更高且对试错的需求更低，能够在没有特定任务学习的情况下解决新任务。
强化学习（RL）有哪些主要缺点？
强化学习需要大量试验，效率低下，且与人类学习方式相悖。
模型预测控制（MPC）在实际应用中有哪些优势？
MPC在控制性能和效率方面显示出显著改进，广泛应用于多个领域，如化学工程和机器人技术。
ML-MPC是什么，它如何克服传统MPC的局限性？
ML-MPC是将机器学习与MPC结合的方法，通过数据驱动模型来提高控制的准确性和适应性。
强化学习和MPC可以结合使用吗？
是的，强化学习和MPC并不互相排斥，已有研究将二者结合使用，效果良好。
在什么情况下应该选择强化学习而不是MPC？
强化学习适合解决复杂动力学或未知系统模型的问题，而MPC更适合建模良好且动态可预测的问题。
