基于事件流的人类动作识别：高分辨率基准数据集与算法
内容提要
本文介绍了一种全耦合的两路时空结构体系框架，能够在低分辨率视频中有效识别动作并保护隐私。同时，研究还涉及基于事件相机的行为识别，提出了新的数据集和模型，展示了在多视角和高效计算方面的显著进展。
延伸解读
隐私保护与低分辨率识别的平衡
文章提出全耦合两路时空结构框架，能在12x16像素的极低分辨率视频中可靠识别动作，从而保护隐私。同时，训练时引入高分辨率视频来优化低分辨率模型，取得了明显改进。这为隐私敏感场景下的动作识别提供了可行方案，但需注意低分辨率可能丢失细节，影响复杂动作的区分度。
事件相机在行为识别中的优势与进展
基于事件相机的行为识别无需光流计算，即可达到与RGB和光流同等的性能，且相比仅用RGB提升了4%的表现。研究还提出了HARDVS大规模基准数据集和ESTF时空特征融合框架，以及计算高效的视频变换网络模型，在真实任务中性能卓越且计算时间更低。这些进展表明事件数据在高效、隐私保护方面具有潜力。
多视角与大规模数据集的推动作用
多视角事件行为识别框架HyperMV填补了多视角事件数据利用的空白，并引入了最大的多视角事件数据集THU-MV-EACT-50，在跨主体和跨视角情况下优于基线。DailyDVS-200基准数据集涵盖200个动作类别、47名参与者的超过22,000个事件序列，为验证现有方法提供了坚实基础。这些资源将推动事件相机行为识别的发展。
Q&A
什么是全耦合的两路时空结构体系框架？
全耦合的两路时空结构体系框架是一种能够在极低分辨率视频中可靠识别动作的技术，同时保护隐私。
如何利用事件相机进行行为识别？
利用事件相机进行行为识别可以通过两种策略，应用于基于事件相机的视频数据集，提供与RGB和光流同等的性能。
HARDVS数据集的主要特点是什么？
HARDVS是一个大规模基准数据集，旨在填补基于事件相机的人类活动识别领域的数据空缺。
ESTF框架的作用是什么？
ESTF框架结合了STEMNET和Transformer矩阵计算，能够有效学习和推断人类活动。
DailyDVS-200数据集包含哪些内容？
DailyDVS-200数据集涵盖200个动作类别，记录47个参与者的事件序列，并对每个序列进行了14个属性的注释。
HyperMV框架的优势是什么？
HyperMV框架在多视角事件数据利用方面填补了研究差距，并在跨主体和跨视角情况下明显优于基线模型。
