通过语言、姿态和合成 IMU 的联合表示强化基于惯性手部人体动作识别
内容提要
本文探讨了通过跨模态学习和深度神经网络提高人类活动识别（HAR）性能的方法。研究利用运动合成模型生成3D运动序列，并结合IMU数据进行训练，显著提升识别准确性。提出的IMUGPT扩展和多样性指标有效解决数据稀缺问题，优化虚拟IMU数据生成。实验表明，结合视频和IMU数据能更好地分类人体运动，展示了多模态学习的应用潜力。
延伸解读
多模态融合提升识别鲁棒性
文章指出，结合视频和IMU数据能更好地分类人体运动，且单个摄像头与单个IMU的组合可超越任一单一模态。这提示在实际应用中，利用智能手机摄像头和单一传感器即可实现有效的人体运动分类，为低成本、易部署的HAR方案提供了新思路。
数据稀缺下的跨模态迁移策略
针对HAR领域缺乏大型标记数据集的挑战，研究采用跨模态迁移方法，将视频等源模态数据转换为IMU数据。IMUGPT扩展中的动作过滤器和多样性指标，能减少至少50%的虚拟IMU数据生成工作量，使该方法更具实际应用价值。
文本监督与不确定性加权的作用
通过引入多传感器空间重要性和文本描述监督的不确定性，获取每个IMU的加权特征，并设计层次时间变换器和对比学习，实现传感器数据与文本语义的精确对齐。实验证明，该方法能区分坐下和站起等模糊动作，并生成更精确自然的动作。
Q&A
如何通过运动合成模型提高人类活动识别的性能？
通过运动合成模型生成3D人体运动序列，并结合IMU数据进行训练，可以显著提高人类活动识别的性能。
IMUGPT扩展的作用是什么？
IMUGPT扩展通过动作过滤器和多样性指标，有效解决数据稀缺问题，减少生成虚拟IMU数据的工作量。
多模态学习在人体动作分类中的优势是什么？
结合视频和IMU数据能更好地分类人体运动，展示了多模态学习在提高识别准确性方面的应用潜力。
IMU2CLIP方法的主要功能是什么？
IMU2CLIP方法将IMU运动传感器记录与视频和文本对齐，提升了下游任务的性能。
如何解决人类活动识别中的数据稀缺问题？
通过跨模态迁移方法，将现有数据集从源模态（如视频）转换为目标模态（IMU），可以有效解决数据稀缺问题。
使用深度神经网络进行人体姿势重建的优势是什么？
使用深度神经网络可以实时重建人体姿势，并通过学习时间姿势先验知识来维持实时预测能力。
