HybridVLA是一种新型视觉-语言-动作模型，结合自回归和扩散策略，旨在提升机器人在动态环境中的操作能力。通过协同训练，该模型有效整合两种生成方法的优势，提高了动作预测的准确性和鲁棒性，并在多样化数据集上展现出优越的性能。

本研究提出了一种三重层次扩散策略（H$^{3}$DP），有效解决视觉感知与动作预测的耦合问题。H$^{3}$DP在44个仿真任务中性能提升27.5%，并在4个双手操作任务中表现优异，显示出其潜在影响。

本研究通过引入基于规则的强化学习，解决了多模态大语言模型在图形用户界面（GUI）动作预测中的推理能力不足的问题。实验结果显示，该方法在多个任务上显著提高了准确性，尤其在AndroidControl和ScreenSpot-Pro基准测试中，准确率分别提升了15%和6%。

本文讨论了2024年具身模型和策略的发展，重点在于训练数据来源、动作预测策略和模型训练方法。通过预训练和微调，提升了机器人策略的泛化能力，强调了数据和架构的重要性。

文章讨论了对π0开源项目的期待与遗憾，分析了OpenVLA和CogACT的源码，重点介绍了动作预测模块的实现，包括ActionTokenizer类的功能和Diffusion Transformer的架构。通过对比不同模型，探讨如何改进VLA以接近π0的思路。

本文提出了一种“一步扩散策略”，有效解决了扩散模型在实时机器人控制中的生成速度慢的问题。通过知识蒸馏，该方法显著提升了响应速度，成功率在多项任务中达到了最先进水平，动作预测频率从1.5 Hz提升至62 Hz，具有广泛的应用潜力。

本研究提出了RoboPrompt框架，解决大型语言模型在机器人动作预测中的不足。通过上下文学习技术，无需训练即可实现基于文本的动作预测。RoboPrompt通过识别和描述关键帧，在模拟和真实环境中表现优于零样本和ICL基线。

本研究提出了一种动态思维规划（D-PoT）方法，旨在提高图形用户界面（GUI）任务中的动作预测准确性。D-PoT能够根据环境反馈和执行历史动态调整计划，准确性提升12.7%。该方法展示了动态规划在大型语言模型中的应用潜力。

GazeMotion是一种新方法，通过结合人体姿势和眼睛注视信息来预测人体动作。该方法在多个数据集上表现优异，关节位置误差平均改进7.4%。研究表明，眼睛注视对动作预测至关重要，且在感知逼真度方面超越了以往方法。

本研究探讨了大型语言模型（LLMs）在提升自动驾驶车辆动作预测准确性方面的应用。通过引入MotionLM和LC-LLM模型，研究实现了对动态车辆轨迹和变道意图的有效预测，并增强了可解释性。实验结果显示，这些模型在多智能体运动预测和人类行为理解方面表现优异，展示了LLMs在自动驾驶领域的潜力。

该论文提出了多种自监督学习方法，包括RPT和EarthPT，旨在提升机器人感知和动作预测能力。研究表明，EarthPT在地表反射率预测和土地利用分类中表现优异。此外，PhysPT通过考虑物理规律改进了3D人体动作估计，PACT则通过共享表示加速机器人系统的实时部署。

本文提出了一种新框架，通过学习人类3D运动的时空表示，从单个图像恢复3D网格及其运动。模型利用半监督学习从自然视频中获取伪标签，展现了在三维动作预测中的优越性能，并涉及多模态学习、动作序列生成及人体姿态估计等技术，推动了人类运动捕捉和视频合成的进展。

本文探讨了基于深度学习的用户界面自动化技术，包括通过屏幕识别提升移动应用可访问性、利用多模态解决方案Auto-UI实现高准确率的动作预测，以及自动化GUI原型设计方法ReDraw的应用。这些研究旨在提升用户体验和任务自动化效率。

本文介绍了一种新颖的多模态运动生成方法，利用预训练模型将身体部位的运动转换为离散运动令牌。该方法通过逐步预测生成完整序列，具备高保真度和可编辑性，能够在多个数据集上生成高质量动画，并显著提高生成速度。同时，研究探讨了大型语言模型在动作预测和城市移动中的应用，展示了多模态模型的潜力和效率提升。

RoboFlamingo是一个开源机器人操作模型，利用大型视觉-语言基础模型进行训练，能够在复杂的机器人操作任务中表现出色。RoboFlamingo通过视觉编码器、特征融合解码器和策略头部三个模块实现机器人每一步的动作预测。实验结果显示，RoboFlamingo在各种设置和指标上的性能都很好。这项工作为机器人技术研究者提供了一个强大的开源框架，能够更容易地发挥开源视觉-语言模型的潜能。

该文综述动作预测研究，涵盖知识蒸馏、LSTM与注意力机制、记忆与预测建模、多模态Transformer及时间卷积网络等方法，在EPIC-Kitchens等数据集上效果显著，并探索将视觉听觉特征转为文本以融入大语言模型。

该文介绍了一种基于多阶段LSTM网络的动作预测方法，能够在视频序列仅有少量片段的情况下实现高准确度的预测。在多个公开数据集上，相对提升了22.0％（JHMDB-21），14.0％（UT-Interaction），和49.9％（UCF-101）的准确率。