无脑者：软体机器人中基于形态计算的自适应行为
内容提要
本文介绍了一种基于深度强化学习的机器人设计新方法，通过形态创新和模块化协同进化策略优化机器人的结构与控制，提升行为性能。研究展示了利用自我感知信息和遗传算法实现机器人形态多样化，增强其在复杂环境中的适应能力。
延伸解读
形态与控制的协同适应
文章强调将机器人形态与控制器进行协同适应，而非分开设计。通过深度强化学习和软演员-评论家算法，利用先前测试过的形态和行为来估计新候选形态的性能，从而减少试验数量。这种方法在真实世界中实现机器人设计的协同适应尤为适用，为自动化机器人设计提供了高效途径。
避免局部最优的形态创新保护
研究提出“形态创新保护”技术，在协同优化结构和控制策略时避免陷入局部最优解，从而提高行为性能。该技术促进了自动化机器人设计和行为训练，并为研究实体认知理论提供了实验检验平台，展示了形态创新对提升机器人适应能力的重要性。
模块化自组装与动态适应
文章探讨了模块化协同进化策略，通过多个原始代理的动态自组装形成复合体来控制机动物体。与传统复杂代理的学习方法不同，该方法在模拟环境中展现出比静态和单片基线更好的适应环境变化和测试时间变化的能力，为软体机器人的形态变化控制提供了新思路。
自由形态机器人的设计方法
研究展示了一种策略梯度方法，用于设计具有任意外部和内部结构的自由形态机器人。通过放置或移除原子建筑块束形成高级非参数宏结构，如附件、器官和腔室。尽管目前仅提供开环控制结果，但讨论了改进为闭环控制并实现从模拟到真实物理机器转移的未来方向。
Q&A
什么是基于深度强化学习的机器人设计新方法？
该方法通过深度强化学习和软演员-评论家算法，自动高效地协同适应机器人形态与控制器，降低试验形态与行为的数量。
形态创新保护技术的作用是什么？
形态创新保护技术可以协同优化机器人的结构和控制策略，避免局部最优解，从而提高机器人的行为性能。
模块化协同进化策略是如何工作的？
该策略通过多个原始代理的动态自组装形成复合体，以控制机动物体，适应环境变化。
DERL框架的主要功能是什么？
DERL框架利用低级别自我感知信息演化出多样化的智能体形态，用于学习复杂环境下的运动和操作任务。
遗传算法在机器人设计中的应用是什么？
遗传算法用于自动设计机器人，通过优化行为和探索不同机械结构的变化，验证优化行为的可行性。
如何实现自由形态机器人的设计？
通过策略梯度方法，使用原子建筑块形成高级非参数宏结构，设计具有任意外部和内部结构的自由形态机器人。
