Shap-Mix: 基于 Shapley 值引导混合的长尾骨骼动作识别
内容提要
骨架动作识别在数据不平衡方面存在挑战。本文提出了一种新颖的平衡表示学习方法，通过空间-时间动作探索策略和分离的动作感知学习计划，解决长尾动作识别问题。实验结果表明，该方法在多个数据集上显著提升了识别性能和泛化能力。
延伸解读
长尾骨骼动作识别的核心挑战
文章指出，现实场景中骨骼动作数据常存在严重类别不平衡，导致当前算法性能急剧下降。长尾问题表现为头部类别样本多、尾部类别样本少，模型易偏向头部类别，从而在尾部类别上识别效果差。因此，如何从不平衡数据中学习无偏表示成为关键。
Shap-Mix 的两阶段解决思路
Shap-Mix 首先通过空间-时间动作探索策略，以重新平衡的方式扩展样本空间，生成更有价值的样本；其次设计分离的动作感知学习计划，将尾类表示学习从训练中分离，并引入动作感知损失施加更有效约束。此外，跳过模态表示提供互补结构信息，共同缓解表示空间中的偏差。
实验验证与泛化能力
文章在四个骨架数据集（NTU RGB+D 60、NTU RGB+D 120、NW-UCLA 和 Kinetics）上验证了所提方法。结果表明，Shap-Mix 不仅相对于最先进方法取得一致的大幅改进，还通过大量实验证明了其卓越的泛化能力。这显示该方法在不同数据集和场景下具有较好的鲁棒性。
Q&A
长尾骨骼动作识别面临哪些挑战？
长尾骨骼动作识别面临数据不平衡的挑战，尤其是在训练数据中类别不平衡时，算法性能会显著下降。
Shap-Mix方法是如何解决长尾动作识别问题的？
Shap-Mix方法通过空间-时间动作探索策略扩展样本空间，并设计分离的动作感知学习计划来减轻表示空间中的偏差。
Shap-Mix方法的实验结果如何？
在四个骨架数据集上，Shap-Mix方法显示出显著的性能提升和优秀的泛化能力，相较于最先进的方法取得了一致的大幅改进。
什么是空间-时间动作探索策略？
空间-时间动作探索策略是一种重新平衡样本空间的方法，旨在生成更有价值的样本以改善长尾动作识别。
分离的动作感知学习计划有什么作用？
分离的动作感知学习计划旨在减轻表示空间中的偏差，通过从训练中分离尾类的表示学习来施加更有效的约束。
Shap-Mix方法在数据集上的验证结果是什么？
Shap-Mix方法在NTU RGB+D 60、NTU RGB+D 120、NW-UCLA和Kinetics等四个数据集上进行了验证，表现出显著的性能提升。
