Video-LLaMA 是一种多模态框架，结合视觉和音频编码器与大型语言模型，提升视频理解能力。其核心设计为模态增强训练，能够有效处理视频数据。研究表明，Audio-Visual LLM 在视频理解任务中表现优异，具有强大的可扩展性和多功能性。新框架 VideoLLM 利用 NLP 预训练模型进行视频序列理解，实验结果显示其在多个任务上表现出色。