MAGR：用于连续动作质量评估的流形对齐图正则化
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
本文探讨了动作质量评估（AQA）的多任务学习方法，提出了MCoRe框架和渐进自适应多模态融合网络（PAMFN），通过结合视觉和音频信息提高评估准确性。研究表明，这些新方法在多个AQA基准测试中表现优异，解决了传统方法的不足。
🔎
延伸解读
多任务学习在AQA中的优势
文章指出，多任务学习方法能同时处理细粒度行动识别、评注生成和AQA值评估三个相关任务，且效果优于单任务学习。这表明任务间的共享信息有助于提升整体性能，为AQA研究提供了新思路。
MCoRe框架的阶段级处理
MCoRe框架通过将视频分割成多个阶段，有效提取时空信息并降低计算成本。其阶段对比学习损失函数受图对比学习启发，在精细化AQA数据集上达到最先进结果，显示了阶段级特征的重要性。
多模态融合的增益与适用场景
PAMFN网络结合视觉和音频信息，尤其对带有背景音乐的体育项目（如花样滑冰、韵律体操）提升显著。自适应融合模块能针对不同动作部分学习融合策略，说明音频是有效的补充信息，但可能更适用于有声音线索的场景。
技术演进与性能提升
从CoRe到MCoRe，再到PAMFN，AQA方法不断演进。CoRe通过组内对比和回归树转化问题，MCoRe引入阶段对比，PAMFN融合多模态，均在基准测试中取得更好性能，体现了领域对细粒度和多模态信息的重视。
❓
Q&A
MCoRe框架的主要功能是什么？
MCoRe框架旨在通过多阶段对比回归有效提取时空信息，并降低计算成本。
渐进自适应多模态融合网络（PAMFN）如何提高动作质量评估的准确性？
PAMFN结合视觉和音频信息，特别是在带有背景音乐的体育项目中表现突出，从而提高评估准确性。
这项研究解决了哪些与动作质量评估相关的任务？
研究解决了细粒度行动识别、评注生成和评估AQA值三个相关任务。
PAMFN的结构是怎样的？
PAMFN由三个专注于各自信息的分支和一个逐渐聚合各种信息的混合分支构成。
这项研究在AQA基准测试中的表现如何？
研究表明，提出的新方法在多个AQA基准测试中表现优异，解决了传统方法的不足。
如何通过时间解析变压器提升动作质量评估？
时间解析变压器将运动分解为时间部分级表示，结合对比回归与分级损失函数提升评估性能。
🏷️
