使用参数优化的多阶段图卷积网络和 Transformer 模型进行人类活动识别的特征融合
内容提要
本文介绍了多视图融合变压器（MVFT）及其他基于深度学习的人体活动识别方法。这些方法在分类准确性和特征提取方面优于现有技术，展现出良好的鲁棒性和扩展性，适用于多模态数据融合和无监督学习等领域。
延伸解读
多视图融合与注意力机制
MVFT通过编码时间视图、频繁视图和统计视图生成多视图特征，并引入新的注意机制来建模细节关系。这种方法不同于单一视图方法，能更全面地捕捉活动模式，为多模态融合提供了新思路。
图卷积网络利用时间相邻性
HAR-GCCN利用传感器测量之间的时间相邻性来预测未分类活动的标签，通过新的训练策略和数据集，在多个数据集上比基线方法准确率提升约25%至68%，显示了时间关系建模在活动识别中的潜力。
自监督学习减少标注依赖
基于自监督技术的特征学习方法能在无标签传感器数据上提取有效特征，在无监督、半监督和迁移学习场景下达到与完全监督网络相当甚至更好的性能，这有助于降低数据标注成本，推动实际应用。
多模态融合与轻量化趋势
MuJo和DMFT等方法通过多模态对比预训练或知识蒸馏融合视频、语言、姿势和IMU数据，提升了识别性能；HART模型则利用Transformer架构实现轻量化，减少资源消耗，适合移动设备部署。
Q&A
多视图融合变压器（MVFT）是如何工作的？
MVFT通过编码时间视图、频繁视图和统计视图生成多视图特征，并提出新的注意机制以揭示细节关系建模。
HAR-GCCN方法的分类准确性如何？
HAR-GCCN方法在多个数据集上展现出比现有基线方法高约25%和高达68%的分类准确性。
自监督技术在人体活动识别中的应用效果如何？
基于自监督技术的特征学习方法在无监督和半监督情况下实现了与完全监督网络相当的性能。
MuJo方法在活动识别中的表现如何？
MuJo方法在MM-Fit数据集上达到了宏平均F1-Score为0.992和0.999的分类效果，展现出良好的性能。
MS-TCN方法如何提高活动预测的鲁棒性？
MS-TCN引入多阶段时间卷积网络进行样本级别活动预测，从而提高了方法的鲁棒性。
DMFT方法解决了哪些深度学习中的问题？
DMFT方法解决了深度学习在多模态信息融合中的不足，展现出有效性、可扩展性和鲁棒性。
