Video-LLaMA架构包含视觉-语言和音频-语言两个分支。视觉-语言分支使用Webvid-2M数据集进行预训练，模型生成内容能力强，但指令遵循能力较弱，因此需要微调。第一阶段冻结视觉编码器，使用可训练的视频Q-Former处理帧输入。