教育中的非言语即时性分析：一种多模态计算模型

研究首次系统性探索多方面非语言信号的解释，贡献了名为NVI的新颖大规模数据集。

提出了非语言互动检测任务NVI-DET和非语言互动检测超图模型NVI-DEHR，并验证了其在任务中的领先性能。

系统回顾了自2010年以来针对面对面共同交互的人际关系中非语言线索的自动分析研究成果。

在线教育中需要多模态方法进行学生理解度的感知识别和评估，结合姿势、表情、眼动和语言等多种线索。

提出了一种基于非言语视觉沟通的人机交互方式，利用面部表情和头部动作实时引起用户注意。

研究了课堂人机交互情景，运用社交凝视模型促进更无缝的社交互动。

提出TextMI方法，将非语言性特征转化为文本描述，并与口头文本结合，整合多模态信息。

提出新的面部表情检测算法，揭示参与者在非语言情境中的互相影响和适应过程。

介绍了一种视频框架，用于建模双人对话中口头和非口头交流之间的关联。

设计了一种能够描绘、学习和推断代理人心理状态的方法，开发新型能级能量模型。

提出基于实时计算机视觉的手势识别应用程序，显示其在社交互动和康复中的有效作用。