本研究解决了工业机器人系统中人机交互可解释性不足的问题，特别是在安全关键应用中的挑战。通过结合大型语言模型和视觉语言模型，以及机器人的感知与控制，提出了一种新颖的方法，使机器人能够理解自然语言命令并感知环境。最显著的发现是，LLM的内部状态和推理可以转化为易于理解的文本，增强了操作员对机器人状态和意图的理解，从而提高了操作的安全性与有效性。

本研究旨在解决机器人领域中语义缺乏明确定义的问题，指出环境数据无法简单提取人类行为的惯例。通过阐明这一点，作者提出语义应被视为由人类行为惯例构成的数据，强调了对象的使用惯例以及对物理和对象组合的理解是实现人工超智能的必要条件。

本文探讨了物理编码的图神经网络在机器人学中的应用，提出了一种新方法来建模刚性与可变形网格的动力学关系。该模型在多个数据集上表现优异，提升了接触预测的准确率，并展现出强大的泛化能力和数据效率。此外，研究还涉及物体变形任务的控制及复杂物理现象的模拟，具有良好的应用前景。

OpenIllumination 是一个包含超过 108,000 张图像的真实世界数据集，涵盖 64 种对象和多种光照条件。该数据集提供准确的相机参数和前景分割掩码，适用于反渲染和材料分解方法的评估，广泛应用于逆向渲染、场景理解和机器人学，支持创建真实的虚拟环境。

本文介绍了一个新的实例检测数据集和协议，并比较了各种基线方法的性能。实例检测是机器人学和计算机视觉中的一个长期存在的问题。

该研究提出了一种交互式机器人行动规划方法，利用大型语言模型向人类提问以获取缺失信息，以减少机器人指令的设计成本。通过烹饪任务的实例证明了该方法的有效性，同时揭示了对LLM的挑战，为未来将LLM应用于机器人学方面的研究提供了有价值的见解。

密歇根大学的机器人学专业在2022-23学年成功启动，吸引了100多名学生申报为机器人学专业。该专业注重公平与卓越，通过多样化的学生途径和可持续的职业参与机器人、人工智能和自动化领域的课程。