MPEG 将 glTF 2.0 扩展并集成到 MPEG-I 场景描述 ISO/IEC 23090 中
内容提要
标准开发组织（SDO）参与3GPP和MPEG工作组，开发了MPEG-I场景描述的glTF 2.0扩展，适用于各种设备。该扩展将MPEG扩展到XR，为供应商无关的3D体验创造了切入点。MPEG工作组还开发了其他glTF扩展，支持增强现实、增强互动性、动态照明和触觉反馈等功能。
延伸解读
为何选择 glTF 作为 XR 场景描述基础
MPEG 在制定沉浸式媒体标准时，需要一种灵活、动态的场景描述方案。glTF 2.0 已被广泛认可为“3D 的 JPEG”，标准化了 3D 场景和模型的创建，且具有开放标准、易于扩展的特点。MPEG 通过扩展 glTF 来集成动态点云、动态网格和 2D 内容等实时媒体元素，旨在打造“用于 XR 和 Metaverse 的 HTML5”，从而为 3D 体验创建供应商无关的切入点，避免依赖专有平台。
分割渲染：应对轻量级 AR 设备的关键架构
目标设备是处理能力、功耗和重量有限的参考 AR 眼镜。为了在此类设备上访问复杂动态场景，MPEG 预计分割渲染等分布式计算架构将成为主要组成部分。该方法可在网络服务器上运行游戏引擎，将场景“预烘焙”为设备可渲染的格式，从而分割 GPU 能力。但实时应用需在延迟受限环境中运行，因此分割渲染工作流需要会话描述条目格式，以确保正确同步功能交换及渲染帧内场景和对象的描述。
第一阶段 glTF 扩展的核心机制
第一阶段为 glTF 引入动态、基于时间的维度，支持视频纹理、音频、动态网格和点云。关键扩展包括：MPEG_Media 定义外部引用媒体的访问；MPEG_accessor_timed 通知演示引擎访问器指向动态缓冲区，使元数据可逐帧变化；MPEG_buffer_circular 提供可同时读写的动态缓冲区，防止读写速度差异导致帧丢失。这些扩展协同工作，确保同步并防止冲突，且动态缓冲区的使用是可选的，不会增加不必要的复杂性。
第二阶段扩展：增强 AR 交互与多感官体验
第二阶段正在开发额外 glTF 扩展，以弥补 MPEG-I 与目标 XR 用例之间的差距。新增支持包括增强现实、增强互动性、动态照明、触觉反馈、6 自由度及音频改进。例如，MPEG_scene_anchor 和 MPEG_node_anchor 允许 AR 用户将虚拟场景锚定到现实世界；MPEG_scene_interactivity 和 MPEG_node_interactivity 将触发器与操作关联；MPEG_node_avatar 集成虚拟形象以实现交互；MPEG_haptic 和 MPEG_materia
Q&A
MPEG-I场景描述的glTF 2.0扩展有什么主要功能？
该扩展支持动态媒体形式，如视频纹理、音频、动态网格和点云，增强了XR应用的交互性和沉浸感。
MPEG工作组在开发glTF扩展时考虑了哪些用例？
工作组考虑了在AR/VR/MR中访问交互式3D场景的需求，包括娱乐和XR通话会议等应用。
glTF为何被选为MPEG-I场景描述的标准格式？
glTF被认为是一种灵活且动态的场景描述解决方案，适合最后一英里分发，并具备广泛的应用历史。
MPEG-I场景描述的第一阶段包括哪些关键扩展？
第一阶段包括MPEG_Media、MPEG_accessor_timed和MPEG_buffer_circular等关键扩展。
MPEG工作组未来的glTF扩展计划有哪些？
未来的扩展计划包括增强现实、动态照明、触觉反馈和6自由度音频等功能。
MPEG-I场景描述如何支持多用户的动态场景共享？
通过中心场景合成功能，参与者可以共享和动态更新场景，实现多用户的交互体验。
