傅立叶传输器：三维双等变机器人操作
内容提要
本文综述机器人操作与规划研究，重点介绍Transporter Network及其扩展：通过重排深层特征推断空间位移，实现高效模仿学习与多步任务；结合等变模型、图卷积、目标约束和扩散模型，提升可变形及柔性物体操作的数据效率与泛化能力；还涉及三维仿真基准、FFRob规划算法和正则化最优传输模仿学习。
延伸解读
Transporter Network 的核心思路与效率优势
Transporter Network 通过重新排列深层特征来推断空间位移，将机器人动作参数化。这种方法能表示复杂的多模式策略分布，并推广到多步顺序任务。其采样效率比基准方法快数个数量级，意味着在相同数据量下能更快学习，或达到相同性能所需数据更少，这对实际机器人应用中的数据收集成本有重要影响。
等变性与数据效率的增强
后续研究将等变神经模型融入 Transporter Net，以捕捉平面拾取和放置中的对称性。等变模型能利用任务中的对称性先验，从而减少所需的人类示范数量。实证评估显示，等变版本比非对称版本更高效，能在各种模仿学习任务中以很少的示范模仿拾取和放置行为，这为降低数据依赖提供了可行方向。
可变形与柔性物体操作的扩展
针对可变形物体，研究用图结构表示配置空间，并用图卷积网络编码，输出逐像素的采取和放置动作。对于柔性物体，引入目标约束并结合多阶段操作基准，实现了多样姿态操作。这些扩展表明 Transporter 框架能适应非刚性物体，但需要专门的结构设计和约束引入，可能增加模型复杂度。
三维仿真与规划算法的现状
三维仿真基准测试要求智能体完成对象选择、拾取和运输，并满足物理约束和规划任务。实验结果表明现有算法仍需进一步发展，说明该领域仍具挑战。FFRob 算法使用扩展动作规范支持任意谓词条件，通过批量采样和路网结构迭代离散化，能有效计算启发式并给出紧密估计，且概率完备、期望运行时间有限，为规划提供了可靠基础。
Q&A
Transporter Network 是什么？它有什么主要优势？
Transporter Network 是一种简单的模型体系结构，通过重新排列深层特征从视觉输入中推断空间位移，使机器人行动参数化。它能表示复杂的多模式策略分布，并推广到多步顺序任务，采样效率比基准方法快数个数量级。
如何将等变神经模型融入 Transporter Net 以提升机器人拾取和放置的效率？
通过将等变神经模型融入 Transporter Net，可以捕捉平面机器人拾取和放置中的所有对称性。实证评估表明，新模型比非对称版本更高效，能在各种模仿学习任务中以很少的人类示范模仿拾取和放置行为。
Diffusion-EDFs 是什么？它在数据效率方面表现如何？
Diffusion-EDFs 是一种将 SE(3)-等变性引入扩散生成模型的新方法。它展现出卓越的数据效率，只需要 5 至 10 个任务演示进行有效的端到端训练，并且相比以前的基于扩散的操作方法，具有更好的泛化能力。
FFRob 算法是如何进行任务和运动规划的？
FFRob 使用扩展动作规范（EAS）作为一般性的计划表示来支持任意谓词为条件。它通过批量采样操纵基元和一个多查询路网结构来迭代离散化任务和运动规划问题，有效计算启发式，结合几何和运动学规划约束，给出距离目标的紧密估计。同时，FFRob 是概率上完备的，并具有有限的期望运行时间。
基于正则化最优传输的模仿学习算法有什么效果？
该算法结合了轨迹匹配奖励和行为克隆，大大提高了模仿学习的速度和效率。在 20 个视觉控制任务中，比之前的最先进方法平均快七倍，并且在真实世界的机器人操作中展现了高达 90% 的平均成功率。
SE(3)-等变能量模型在样本效率上有什么特点？
利用李群的表示理论构建的 SE(3)-等变能量模型允许高样本的端到端学习。这些模型可以从头开始学习，但具有很高的样本效率，并且可以推广到具有不同要求的任务中。
