本研究提出了ResNetVLLM框架,结合ResNet视觉编码器与大型语言模型,旨在解决零-shot视频理解问题。该模型在多个基准测试中表现优异,能够生成准确的上下文相关文本描述。
本研究针对视频语言模型ResNetVLLM中的多模态幻觉问题,提出了改进的Lynx模型和动态知识库策略。实验结果表明,ResNetVLLM-2的准确率从54.8%提升至65.3%,显著增强了模型的可靠性。
完成下面两步后,将自动完成登录并继续当前操作。