面向仿真到现实迁移的域随机化
内容提要
机器人学中，仿真到现实迁移因物理参数不一致和建模误差存在“现实鸿沟”。域随机化通过在仿真中随机化视觉外观与物理动力学参数训练策略，使其泛化到现实，无需真实数据，优于需真实样本的域适应。引导式域随机化利用任务反馈、真实数据或仿真器优化随机化分布（如AutoAugment、SimOpt、RCAN），以提升迁移效果。
延伸解读
域随机化为何有效：优化与元学习视角
文章从两个角度解释域随机化的有效性。一是将其视为双层优化：内层训练策略，外层优化随机化分布参数，以最大化在真实环境中的性能。这解释了为何手动调整随机化范围本质上是优化过程。二是视为元学习：在多种随机化环境中训练的策略，尤其是带记忆的循环网络，能动态适应新环境，实现跨任务的快速适应。这两种视角共同说明，域随机化不仅是数据增强，更是策略泛化能力的培养。
引导式域随机化的三类方法
引导式域随机化利用额外信息优化随机化分布，主要分为三类：基于任务性能反馈（如AutoAugment、Learning to Simulate）、基于真实数据分布（如SimOpt、RCAN）、基于仿真器内部信号（如DeceptionNet、ADR）。基于任务性能的方法通常需要大量真实样本，成本高昂；基于真实数据的方法直接匹配仿真与真实轨迹分布，但需解决梯度传播问题；基于仿真器的方法避免真实数据，但可能引入偏差。选择时需权衡数据成本与计算资源。
实际应用中的权衡与限制
域随机化虽能减少对真实数据的需求，但并非万能。均匀域随机化简单但可能因随机化范围过宽导致策略学习困难；引导式方法虽能提升效率，但往往需要额外反馈或真实数据。例如，RCAN在零样本迁移上优于均匀DR，但仍不及仅用真实数据训练的模型。此外，部分方法如DeceptionNet需针对不同任务手动设计模块，扩展性受限。因此，实际应用中需根据任务特点、数据获取成本和计算资源进行权衡。
Q&A
什么是仿真到现实迁移中的现实鸿沟？
现实鸿沟是指仿真器与物理世界之间的差异，主要由物理参数不一致（如摩擦、阻尼、质量）和错误的物理建模（如软表面碰撞）导致，使得在仿真中训练的模型难以迁移到真实机器人。
域随机化如何帮助实现仿真到现实的迁移？
域随机化通过在仿真中随机化视觉外观和物理动力学参数（如质量、摩擦、光照等），训练策略适应多种环境变化，从而泛化到真实世界，且无需或仅需少量真实数据。
域随机化和域适应有什么区别？
两者都是无监督的迁移方法。域适应需要大量真实数据样本来匹配分布，而域随机化可能只需要少量或不需要真实数据，通过在仿真中广泛随机化来覆盖真实环境。
引导式域随机化有哪些常见方法？
引导式域随机化利用任务反馈、真实数据或仿真器来优化随机化分布。常见方法包括基于任务性能的AutoAugment、Learning to Simulate、CMA-ES，基于真实数据的SimOpt、RCAN，以及基于仿真器的DeceptionNet、ADR等。
域随机化为什么有效？
有两种解释：一是将域随机化视为双层优化，通过调整随机化分布使策略在真实环境性能最优；二是视为元学习，循环网络（如LSTM）使策略能动态适应不同环境，实现跨任务泛化。
在机器人操作任务中，域随机化有哪些成功应用？
OpenAI的灵巧手操作任务中，通过视觉和动力学域随机化，训练的策略能够连续旋转物体并达到50个随机目标方向，成功迁移到真实机器人。
