本研究提出了一种名为“代码作为生成性拟态（CoGA）”的方法，旨在提高强化学习代理在稀疏奖励和大行动空间环境中的样本效率。通过利用预训练的视觉-语言模型生成代码，CoGA限制了代理的行动空间，从而提升学习效率。研究结果表明，CoGA在多个任务上表现出更高的样本效率。

本文研究了机器人操作学习中的行动空间选择，评估了不同控制空间在模拟任务中的表现及其向实际环境的转移。通过训练250多个强化学习代理，确认了行动空间的优缺点，并提出了未来设计建议，强调在训练和转移时对行动空间的慎重考虑。