研究者提出了优势奖励建模（ARM）框架，以解决长时间跨度机器人任务中的稀疏奖励问题。ARM通过三态标注策略（前进、后退、停滞）降低人类标注负担，并自动生成进度标注。在毛巾折叠任务中，该方法实现了99.4%的成功率，显著提高了强化学习的效率和稳定性。