通过文本描述生成地面压力序列用于 HAR
内容提要
该文综述文本驱动人体动作生成与识别研究，涵盖压力图生成、运动合成、压力仿真、VQ-VAE与GPT运动生成、无监督扩散、可穿戴IMU动作重建及视频生成等方法，验证了文本监督与多模态融合的有效性。
延伸解读
文本驱动动作生成的技术脉络
文章梳理了从文本描述生成人体动作的多种技术路线，包括基于VQ-VAE、RVQ-VAE和GPT的条件生成框架，以及无监督扩散模型Text2Data。这些方法在HumanML3D和KIT-ML等数据集上验证了文本监督的有效性，并逐步提升生成动作的精度和自然度。读者可借此了解该领域从离散表示到连续扩散的演进趋势。
压力数据生成与HAR的跨模态融合
PressureTransferNet利用编码器-解码器模型，将源压力图和目标人体属性向量结合，生成反映目标属性的新压力图，实现了人体属性在地面压力图上的精确转移。PresSim框架则通过视觉分析和仿真变形从压力传感器数据中替代收集压力数据。这些工作表明，跨模态生成技术能有效扩充HAR训练数据，缓解真实数据不足的问题。
多模态监督提升动作识别鲁棒性
文章提到，通过ChatGPT生成文本描述，结合T2M-GPT合成3D动作并转换为模拟IMU数据，与部分真实IMU数据联合训练，可显著提升HAR模型性能。此外，利用文本监督和层次时间变换器（HTT）对稀疏IMU数据进行动作重建，能区分坐下和站起等模糊动作。这提示多模态融合与文本监督是提升识别鲁棒性的关键方向。
Q&A
PressureTransferNet 是什么？它如何用于人体活动识别？
PressureTransferNet 是一种利用地面压力信息进行人体活动识别（HAR）的新方法。它通过编码器-解码器模型，以源压力图和目标人体属性向量为输入，生成反映目标属性的新压力图，从而将人体属性精确转移到地面压力图上，用于 HAR。
如何利用文本描述生成 IMU 数据来提升 HAR 模型性能？
通过 ChatGPT 生成活动的文本描述，使用运动合成模型 T2M-GPT 生成 3D 人体运动序列，然后转换成模拟 IMU 数据，将其与部分真实 IMU 数据结合训练 HAR 模型，可以显著提高其性能。
PresSim 框架是什么？它如何替代压力传感器收集数据？
PresSim 是一个通过视觉分析、仿真变形分析和深度学习等技术，从压力传感器收集压力数据的替代方法，旨在实现人类活动识别。它能够模拟压力数据，减少对物理传感器的依赖。
T2M-HiFiGPT 在人体动作生成中有什么创新和优势？
T2M-HiFiGPT 是一种基于 RVQ-VAE 和双层 GPT 结构的新型条件生成框架。其基于 CNN 的 RVQ-VAE 能产生高精度的 2D 时间-残差离散动作表示；双层 GPT 包括时间 GPT 和残差 GPT，能有效压缩信息并生成动作数据。在 HumanML3D 和 KIT-ML 数据集上，它在几乎所有主要指标上表现优异，优于基于扩散和 GPT 的方法如 T2M-GPT 和 Att-T2M。
Text2Data 方法在低资源环境下有什么优势？
Text2Data 方法通过无标注数据进行无监督扩散建模，在低资源环境中能够实现跨多种模态的可控性，并具备比现有基线模型更好的性能。
如何利用可穿戴设备进行动作重建，并处理稀疏 IMU 数据？
通过多传感器的空间重要性和文本描述的监督引入不确定性来获取每个 IMU 的加权特征，并设计层次时间变换器（HTT）和对比学习来实现传感器数据与文本语义的精确时间和特征对齐。实验证明该方法在多个指标上相比现有方法有显著改进，尤其在文本监督下能区分模糊动作并产生更精确自然的动作。
Text2Performer 算法是什么？它如何生成人类视频？
Text2Performer 是一种基于文本描述生成拥有精细动作的逼真人类视频的算法，并提供了 Fashion-Text2Video 数据集。它将 VQVAE 潜空间表示细分为人物形象和姿势表示，并通过连续 VQ-diffuser 对姿势编码进行采样，得到更好的动作建模，在多项实验中表现出色。
