Shap-Mix: 基于 Shapley 值引导混合的长尾骨骼动作识别

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

骨架动作识别在数据不平衡方面存在挑战。本文提出了一种新颖的平衡表示学习方法,通过空间-时间动作探索策略和分离的动作感知学习计划,解决长尾动作识别问题。实验结果表明,该方法在多个数据集上显著提升了识别性能和泛化能力。

🎯

关键要点

  • 骨架动作识别在现实场景中面临数据不平衡的挑战。
  • 当前动作识别算法在训练数据中存在严重类别不平衡时性能下降。
  • 提出了一种新颖的平衡表示学习方法来解决长尾动作识别问题。
  • 采用空间-时间动作探索策略扩展样本空间,生成更有价值的样本。
  • 设计了分离的动作感知学习计划,以减轻表示空间中的偏差。
  • 在四个骨架数据集上验证了该方法的有效性,显示出显著的性能提升和优秀的泛化能力。

延伸问答

长尾骨骼动作识别面临哪些挑战?

长尾骨骼动作识别面临数据不平衡的挑战,尤其是在训练数据中类别不平衡时,算法性能会显著下降。

Shap-Mix方法是如何解决长尾动作识别问题的?

Shap-Mix方法通过空间-时间动作探索策略扩展样本空间,并设计分离的动作感知学习计划来减轻表示空间中的偏差。

Shap-Mix方法的实验结果如何?

在四个骨架数据集上,Shap-Mix方法显示出显著的性能提升和优秀的泛化能力,相较于最先进的方法取得了一致的大幅改进。

什么是空间-时间动作探索策略?

空间-时间动作探索策略是一种重新平衡样本空间的方法,旨在生成更有价值的样本以改善长尾动作识别。

分离的动作感知学习计划有什么作用?

分离的动作感知学习计划旨在减轻表示空间中的偏差,通过从训练中分离尾类的表示学习来施加更有效的约束。

Shap-Mix方法在数据集上的验证结果是什么?

Shap-Mix方法在NTU RGB+D 60、NTU RGB+D 120、NW-UCLA和Kinetics等四个数据集上进行了验证,表现出显著的性能提升。

➡️

继续阅读