本文综述马尔可夫决策过程（MDP）的多种扩展，包括：可配置MDP的联合优化、近似模型下折扣MDP的性能上界、知识传递的无负面经验学习、条件McKean-Vlasov MDP的开环控制、分布鲁棒MDP的对抗分布最优策略、原始对偶方法求解约束MDP的最优复杂度、参数不确定MDP的鲁棒优化、不确定转移核的强鲁棒策略、零阶内点法的约束满足保证，以及模型鲁棒性学习的样本复杂度分析。