逐行解读ACT:斯坦福Mobile Aloha之动作分块算法ACT的代码剖析、训练部署
内容提要
本文介绍了动作分块ACT算法的代码剖析与部署训练。文章详细解释了代码中各个文件的功能和作用,并提供了相关的代码示例。其中,主要介绍了ACT的训练与评估的主程序,以及创建策略模型对象、优化器和获取图像数据的函数。文章还提供了评估行为克隆模型的函数,并计算了成功率和平均回报。最后,文章提到了Mobile Aloha或Aloha软件层面代码的跑通与部署的内容。
延伸解读
代码结构:模块化设计便于复现
文章剖析的ACT代码仓库包含多个文件,各司其职:imitate_episodes.py负责训练与评估主流程,policy.py封装策略适配器,detr目录定义模型结构,sim_env.py和ee_sim_env.py分别提供关节空间和末端执行器空间的仿真环境,scripted_policy.py用于脚本化策略,constants.py共享常量,utils.py提供数据加载等辅助函数。这种模块化设计让读者能按文件定位功能,降低复现难度。
训练配置:关键参数与策略选择
主程序通过命令行参数配置训练,包括是否评估、检查点目录、策略类别、任务名称、批大小、训练周期等。策略类别支持ACT和CNNMLP,ACT有特定超参数如编码器/解码器层数(4/7)、注意力头数(8)、隐藏维度等。代码固定状态维度为14,主干网络为resnet18。这些参数直接影响模型容量和训练行为,读者调整时需注意与任务匹配。
评估机制:成功率与回报的量化
eval_bc函数评估行为克隆模型,进行50次回放,每次重置环境并执行策略,记录奖励。最终计算成功率(最高奖励等于环境最大奖励的比例)和平均回报,并统计不同奖励阈值下的成功率。评估还支持时间聚合(temporal_agg),通过指数加权融合多步预测动作,提升平滑性。结果保存为文本和视频,便于分析模型表现。
Q&A
ACT算法代码仓库中主要包含哪些文件,各自的作用是什么?
主要文件包括:imitate_episodes.py(训练和评估ACT)、policy.py(ACT策略适配器)、detr(ACT模型定义,修改自DETR)、sim_env.py(具有关节空间控制的Mujoco+DM_Control环境)、ee_sim_env.py(具有末端执行器空间控制的Mujoco+DM_Control环境)、scripted_policy.py(模拟环境的脚本化策略)、constants.py(跨文件共享的常量)、utils.py(数据加载和辅助函数)、visualize_episodes.py(保存.hdf5数据集中的视频)。
ACT训练与评估的主程序是如何组织的?
主程序main(args)首先设置随机种子,解析命令行参数(如是否评估、检查点目录、策略类、任务名称、批大小、训练周期等),然后根据任务名称从constants中获取任务配置(数据集目录、回合数、相机名称等)。接着定义模型架构和超参数(状态维度14、主干网络resnet18、学习率等),并根据策略类(ACT或CNNMLP)设置策略配置。如果为评估模式,则加载检查点并调用eval_bc计算成功率和平均回报;否则加载数据、保存统计信息,并调用train_bc进行训练,最后保存最佳检查点。
make_policy、make_optimizer和get_image这三个函数分别有什么作用?
make_policy根据policy_class('ACT'或'CNNMLP')和policy_config创建对应的策略模型对象。make_optimizer根据策略类调用policy.configure_optimizers()创建优化器。get_image从时间步ts中提取指定相机名称的图像数据,重排维度为'c h w',堆叠后归一化到[0,1],转换为PyTorch张量并移至GPU,最后增加一个批次维度,返回可用于模型输入的图像张量。
eval_bc函数如何评估行为克隆模型?
eval_bc函数首先加载策略模型和数据集统计信息,定义预处理和后处理函数。然后根据real_robot标志创建真实或模拟环境。设置查询频率(若使用时间聚合则为1)和最大时间步数。进行num_rollouts次回放,每次重置环境,在无梯度模式下循环执行:获取当前观测(图像和关节位置),查询策略生成动作(若使用时间聚合则对多个动作进行指数加权平均),后处理动作并步进环境,记录奖励。最后计算成功率(最高奖励等于环境最大奖励的比例)和平均回报,并输出结果保存到文件。
ACT算法中时间聚合(temporal_agg)是如何实现的?
在评估循环中,如果启用时间聚合,会初始化all_time_actions张量来存储所有时间步的动作。当t % query_frequency == 0时,策略输出所有查询的动作块,并存入all_time_actions的对应位置。对于当前时间步t,从all_time_actions中取出所有包含该时间步动作的预测,过滤掉全零的行,然后对这些动作应用指数加权平均(权重为exp(-k * arange),k=0.01,归一化后求和),得到当前步的原始动作。
ACT代码中如何配置模型架构和超参数?
在imitate_episodes.py中,固定参数包括state_dim=14、lr_backbone=1e-5、backbone='resnet18'。对于ACT策略,设置enc_layers=4、dec_layers=7、nheads=8,policy_config包含lr、num_queries(即chunk_size)、kl_weight、hidden_dim、dim_feedforward、lr_backbone、backbone、enc_layers、dec_layers、nheads和camera_names。对于CNNMLP策略,policy_config包含lr、lr_backbone、backbone、num_queries=1和camera_names。