MMASD+: 一个针对自闭症谱系障碍儿童隐私保护行为分析的新数据集
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了自闭症谱系障碍(ASD)领域中数据共享带来的隐私问题,提出了MMASD+数据集,包含多种数据模态,并集成了Yolov8和Deep SORT算法进行行为分析。一个多模态变换框架被提出,预测11种行为类型和ASD的存在,模型在准确率上有显著提升,展示了多模态数据整合的优势。
本文介绍了视听自闭症行为识别的新问题,包括社交行为识别。作者通过收集音视频自闭症谱系数据集,实验证明整合音频、视觉和语音模态可以提高自闭症行为识别的性能。作者还探索了多模态大语言模型的潜力。