本研究将非语言性特征转化为文本描述,并与口头文本结合,整合到预训练大语言模型中,通过fine-tune在多个下游任务中取得了令人满意的性能。建议将此方法作为低资源环境下多模态行为分析任务的通用基准。
本文研究了将非语言性特征转化为文本描述,并与口头文本结合,整合到基于文本的预训练大语言模型中。称此方法为TextMI,并在多个下游任务中进行了fine-tune,取得了令人满意的性能。建议将TextMI作为低资源环境下多模态行为分析任务的通用、有竞争力的基准。
完成下面两步后,将自动完成登录并继续当前操作。