Twins-PainViT:面向多模态自动疼痛评估的模态不可知视觉 Transformer 框架,使用面部视频和 fNIRS
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
通过AHDI技术,使用面部表情作为主要工具,将面部视频编码为RGB图像,并应用深度模型进行视频表征,引入了自动疼痛强度估计方法。在两个任务上取得了令人鼓舞的结果,提高了疼痛评估的精度。
🎯
关键要点
-
通过自适应分层时空动态图像(AHDI)技术引入自动疼痛强度估计方法。
-
该方法使用面部表情作为主要工具,将面部视频编码为RGB图像。
-
应用简化的二维深度模型进行视频表征,采用残差网络获得面部的广义表征。
-
针对疼痛强度估计和真实与模拟疼痛表达的区分进行优化。
-
在两个广泛使用的疼痛数据集上测试,取得了令人鼓舞的结果。
-
方法最小化对大量标记数据的需求,提高了疼痛评估的精度,提供了更好的疼痛管理。
➡️