RGB - 骨骼动作识别中的对抗鲁棒性:利用注意力模态重新加权器

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文提出了一种用于多模态动作识别的集成建模方法,通过独立训练各个模态的模型,并基于焦点损失的基本原理,提出了一种指数衰减的焦点损失模型,实验评估证明了该方法的有效性。

🎯

关键要点

  • 提出了一种用于多模态动作识别的集成建模方法。

  • 使用适应 MECCANO 数据集的长尾分布的变种焦点损失模型。

  • 独立训练各个模态的模型。

  • 提出了一种指数衰减的焦点损失模型,能够逐渐适应数据集中的所有示例。

  • 鼓励模型关注稀疏的艰难样本,同时利用简单样本提供的信息。

  • 采用后期融合策略将 RGB 和深度模态的概率分布进行组合。

  • 在 MECCANO 数据集上的实验评估证明了方法的有效性。

➡️

继续阅读