本研究解决了工业机器人系统中人机交互可解释性不足的问题，特别是在安全关键应用中的挑战。通过结合大型语言模型和视觉语言模型，以及机器人的感知与控制，提出了一种新颖的方法，使机器人能够理解自然语言命令并感知环境。最显著的发现是，LLM的内部状态和推理可以转化为易于理解的文本，增强了操作员对机器人状态和意图的理解，从而提高了操作的安全性与有效性。

本研究旨在解决机器人领域中语义缺乏明确定义的问题，指出环境数据无法简单提取人类行为的惯例。通过阐明这一点，作者提出语义应被视为由人类行为惯例构成的数据，强调了对象的使用惯例以及对物理和对象组合的理解是实现人工超智能的必要条件。

机器人学评估面临控制和视觉差异挑战。SIMPLER模拟环境通过展示模拟与真实世界政策的强相关性，准确反映真实行为。其开源促进了通用操作策略和评估框架的研究。

近期人工智能的发展依赖于规模化，但机器人学面临数据集获取的挑战。RoboCasa是一个专注于厨房环境的大规模仿真框架，提供逼真的3D物体和多样化场景。通过生成式AI工具增强仿真，设计了100个任务系统评估，结合人类演示和自动化轨迹生成，减少人力负担。实验显示，合成数据在模仿学习和实际任务中有巨大潜力。

机器人学中的评估与模拟环境之间的控制和视觉差异是模拟评估的关键挑战。通过创建适用于真实机器人设置的SIMPLER模拟环境，研究者证明了在这些环境中的政策表现与真实世界中的表现之间的强相关性，并准确反映了真实世界的政策行为模式。该研究促进了通用操作策略和模拟评估框架的研究。

机器人学中的不确定性研究是关键领域，特别是在机器人配备了分析模型时。本指南提供了关于不确定性重要性的概述，并从应用的角度提供了量化和评估方法。

机器人学中的一个挑战是设计出能在现实世界中实现复杂和灵活行为的稳健策略。一种名为“Deep Model Predictive Optimization”的方法通过学习优化算法来提高控制问题的性能。在四旋翼平衡轨迹跟踪任务中，DMPO在计算预算下提高了性能，并且比基线算法提高了27%和19%。此外，DMPO需要更少的样本和4.3倍的内存，同时在扰动风场中仍然优于基线测试结果。

本文介绍了一个新的实例检测数据集和协议，并比较了各种基线方法的性能。实例检测是机器人学和计算机视觉中的一个长期存在的问题。

该研究提出了一种交互式机器人行动规划方法，利用大型语言模型向人类提问以获取缺失信息，以减少机器人指令的设计成本。通过烹饪任务的实例证明了该方法的有效性，同时揭示了对LLM的挑战，为未来将LLM应用于机器人学方面的研究提供了有价值的见解。

密歇根大学的机器人学专业在2022-23学年成功启动，吸引了100多名学生申报为机器人学专业。该专业注重公平与卓越，通过多样化的学生途径和可持续的职业参与机器人、人工智能和自动化领域的课程。