NovelGym：面向开放世界的混合规划和学习智能体的灵活生态系统
内容提要
该文综述多个强化学习仿真环境与框架：NovGrid通过检测行动观察值与模型预期的差异推断新奇性并修订模型；CyGIL为网络运营智能体提供统一训练环境，支持仿真到现实迁移；EduGym、IGLU Gridworld、VRKitchen、VRGym、OpenGridGym和PowerGridworld分别面向教学、语言约束任务、虚拟现实机器人训练及电力市场多智能体仿真，提供标准化评估与训练工具。
延伸解读
NovGrid：用预测误差驱动模型修订
NovGrid 不依赖预先定义的新奇性标签，而是通过比较智能体行动后的实际观察与环境模型的预期值来检测差异，并据此推断新奇性。检测到差异后，它采用启发式导向的模型改变搜索来修订模型。在 CartPole 上的实验表明，该方法能快速且可解释地处理一类新奇性。这提示读者：面对环境机制变化时，基于预测误差的在线模型修订是一条可行路径，但当前验证范围有限。
CyGIL：为网络运营智能体搭建仿真到现实的桥梁
CyGIL 是一个面向网络运营（CyOps）的统一训练环境，旨在让自主智能体先在仿真中训练，再迁移到实际网络环境。文章提到其结合自动创建高保真仿真器与智能体训练流程，并通过连续学习减少所需训练时间，实验显示训练性能良好。对关注仿真到现实迁移的读者而言，CyGIL 的价值在于把环境构建与训练流程整合，但实际网络部署效果仍需进一步验证。
从教学到电力市场：仿真环境的多样化定位
这批环境各有侧重：EduGym 用交互式笔记本辅助强化学习教学；IGLU Gridworld 面向语言约束任务，提供视觉实体与组合难度大的任务空间；VRKitchen 和 VRGym 分别用于虚拟现实中的机器人任务演示与物理交互训练；OpenGridGym 和 PowerGridworld 则聚焦电力市场与电力系统的多智能体仿真。读者可据此判断不同环境更适合教学、语言约束学习还是电力系统策略研究。
Q&A
NovGrid 是如何检测和应对开放世界中的新奇性的？
NovGrid 通过检测行动执行的观察值与环境模型的预期值之间的差异来推断新奇性的存在，并通过启发式导向的模型改变搜索来修订模型。在 CartPole 基准上的实验表明，该方法能快速且可解释地处理一类新奇性。
CyGIL 是什么？它如何帮助网络运营智能体实现从仿真到现实的迁移？
CyGIL（Cyber Gym for Intelligent Learning）是一个统一的训练环境，旨在通过强化学习和深度强化学习使网络运营（CyOps）中的自主智能体成为可能。它提供仿真环境下的智能体训练，并支持从仿真到现实的迁移，实验表明其训练性能良好。
EduGym 的主要目标是什么？它如何帮助学生学习强化学习？
EduGym 是一套教育性的强化学习环境和配套的交互式笔记本，旨在帮助学生更好地理解强化学习的概念和实践。它通过提供特定挑战方面的环境和解决方案来提高教学效果。
IGLU Gridworld 环境有什么特点？它适用于哪类任务？
IGLU Gridworld 是一个便于建立和评估具有语言约束的智能体强化学习过程的环境。它具有视觉实体特征、交互式学习、语言约束的强化学习以及组合难度大的任务空间。
VRKitchen 和 VRGym 分别是什么？它们在机器人训练中扮演什么角色？
VRKitchen 是一个虚拟现实环境，使用现代人工智能方法驱动具有复杂任务能力的实体代理，支持人类教师演示培训，为任务导向学习提供标准化评估基准和数据收集工具。VRGym 是一个虚拟现实测试平台，致力于构建和训练物理和交互式机器人，提供物理模拟和机器学习算法训练工具包，支持人机交互和认知科学实验。
PowerGridworld 软件包的主要功能是什么？它如何支持电力系统的多智能体强化学习？
PowerGridworld 是一个轻量级、模块化、可定制的框架，用于创建面向电力系统的多智能体 Gym 环境，并可与现有的强化学习训练框架集成。通过两个案例研究，证明了它可以快速实现多智能体 RL 策略的学习，并支持多设备、组合式的电力系统。
