HOIMotion: 使用自我中心的 3D 物体边界框预测人与物体交互中的人体动作
内容提要
GazeMotion是一种新方法，通过结合人体姿势和眼睛注视信息来预测人体动作。该方法在多个数据集上表现优异，关节位置误差平均改进7.4%。研究表明，眼睛注视对动作预测至关重要，且在感知逼真度方面超越了以往方法。
延伸解读
注视信息在动作预测中的价值
GazeMotion 的核心创新在于将眼睛注视信息与人体姿势结合进行动作预测。实验表明，即使仅用头部方向替代眼睛注视，方法仍能取得 5.5% 的平均改进，而完整使用注视信息时改进达到 7.4%。这证实了注视方向携带了关于未来动作意图的关键信息，且其贡献超出了头部朝向所隐含的粗略方向。
技术路线与性能表现
该方法通过预测未来眼睛注视点，并将其与过去姿势融合成注视-姿势图，再利用残差图卷积网络预测身体运动。在多个基准数据集上，关节位置误差的平均改进超过最先进方法 7.4%。在线用户研究进一步显示，在感知逼真度上优于先前方法，说明定量误差的降低也带来了视觉上更自然的动作。
与相关工作的关联与差异
文章提及的早期工作（如 2019 年结合 3D 场景与凝视信息的方法）已探索过凝视对运动预测的作用，而 GazeMotion 进一步将凝视预测与姿势融合，并采用图卷积网络。与同期关注物体交互或全身姿势预测的工作相比，GazeMotion 聚焦于利用注视信息提升通用人体动作预测的精度，其思路可与其他模态（如物体运动、场景上下文）形成互补。
Q&A
GazeMotion 是什么？
GazeMotion 是一种结合人体姿势和眼睛注视信息进行人体动作预测的新方法。
GazeMotion 如何提高动作预测的准确性？
GazeMotion 通过预测未来眼睛注视点并将其与过去的姿势融合，利用残差图卷积网络进行身体运动预测，从而提高准确性。
GazeMotion 在关节位置误差上有何改进？
GazeMotion 在多个基准数据集的评估中，关节位置误差的平均改进超过了最先进的方法 7.4%。
即使使用头部方向作为替代，GazeMotion 的改进率是多少？
即使使用头部方向作为眼睛注视的替代，GazeMotion 的平均改进率也达到了 5.5%。
GazeMotion 在感知逼真度方面的表现如何？
在线用户研究表明，GazeMotion 在感知逼真度方面超过了之前的方法，展示了眼睛注视的重要性。
GazeMotion 的研究结果有什么重要意义？
研究结果展示了眼睛注视在人体动作预测中的重要性，以及GazeMotion在利用这些信息方面的有效性。
