AlphaNIST——针对装配任务的RL框架：仅在最后任务成功时才给二元奖励，任务过程中让机器自行探索直至完成
内容提要
AlphaNIST 提出用稀疏二元奖励训练单一策略，在 NIST 装配任务板全部 20 个任务上从零学习，无需示教、进度塑形或逐任务调参，成功率达 98.2%。该策略还能在无预定顺序下完成十对装配，并自主涌现灵巧规划行为，如选择有利抓取、借助几何重定向零件、交错装配等。
延伸解读
稀疏奖励如何驱动复杂装配学习
AlphaNIST 仅使用二元任务奖励，即装配成功才给奖励，过程中无进度塑形。这种稀疏奖励通常导致学习困难，但作者通过联合训练全部20个异构任务，并利用多样化的初始状态分布，将任务多样性转化为学习资源。策略从点云输入直接学习，无需任务标识符，最终达到98.2%的成功率。这表明在足够多样化的任务分布下，稀疏奖励可以促使机器人自主发现灵巧的装配行为。
多任务联合训练与重置状态采样策略
训练分布由 OmniReset 缓存的重置状态和基于成功率的 Beta 采样组合而成。Beta 采样偏好中等成功率的条目，避免过度采样已掌握或完全失败的状态，从而平衡经验分配。重置库覆盖未抓取、取件、搬运、近配合及部分装配等多种构型，支持 GPU 并行初始化。这种设计让单一策略在20个任务间共享参数，无需逐任务调参，同时处理高度多样的初始零件姿态。
涌现的规划行为与无顺序多对装配
在无预定顺序的十对装配任务中，策略仅在全部十对同时完成时获得奖励。这促使策略自主涌现出类似规划的行为：选择有利于后续装配的抓取方式、利用周围几何结构重定向零件、先预处理一件零件再装配另一件。这些行为并非显式编程，而是从稀疏奖励中自然产生。这表明，适当的任务设置可以激发机器人形成长时程协调能力，而无需传统规划器或脚本化技能。
仿真训练与硬件对齐的实际意义
AlphaNIST 在 Isaac Lab 中训练，使用7自由度 Franka Panda 机械臂，并匹配真实硬件的惯性、传动、关节速度和力矩限制。控制频率为25 Hz，策略输出关节位置目标和夹爪命令，由隐式阻抗控制器执行。这种硬件对齐的仿真设置有助于策略迁移到真实机器人。控制成本惩罚抑制过大动作，促进平滑节能行为，但不会提供装配进度信息，保持了奖励的稀疏性。
Q&A
AlphaNIST 是什么？它主要解决什么问题？
AlphaNIST 是一个针对装配任务的强化学习框架，它使用稀疏的二元任务奖励训练单一策略，在 NIST 装配任务板全部 20 个任务上从零学习，无需示教、进度塑形或逐任务调参，成功率达 98.2%。
AlphaNIST 在 NIST 装配任务板上的成功率是多少？
AlphaNIST 在 NIST 装配任务板全部 20 个任务上的总体训练成功率达到 98.2%。
AlphaNIST 如何训练机器人完成装配任务？
AlphaNIST 使用标准 PPO 算法，仅提供二元任务奖励（装配成功才给奖励），结合来自 OmniReset 的多样化重置状态和成功引导采样（SGS）进行训练，策略从点云输入直接学习，无需任务标识符。
AlphaNIST 中的奖励机制是怎样的？
奖励是稀疏的二元任务奖励：只有装配完全成功时才给予奖励，中间过程没有进度奖励。此外还加入了控制成本惩罚（动作幅度、关节速度、力矩），以鼓励平滑、低能耗的行为。
AlphaNIST 能完成多对装配任务吗？
可以。AlphaNIST 能训练策略在单个 episode 内完成十对装配任务，且不规定完成顺序，只有当十对全部同时完成时才给予任务成功奖励。
AlphaNIST 涌现出了哪些灵巧行为？
学习到的策略自主涌现出类似规划的行为，包括选择有利于后续装配的抓取方式、利用周围几何结构重新定向零件、先预处理一件零件再装配另一件然后返回继续装配等。
