本研究提出了新数据集和FaceTrack-MM模型,解决了视频多模态语言模型在面部表情描述中的数据集和视觉令牌容量不足问题,有效提升了复杂场景中面部表情的追踪能力和视频MLLMs的性能。
本研究分析了视频多模态大语言模型在视觉上下文表示上的不足。通过将任务转化为约束优化问题,研究了帧和标记选择对性能的影响。结果显示,提出的方法与实验结果一致,具有应用潜力。
完成下面两步后,将自动完成登录并继续当前操作。