基于上下文的视觉讲故事：视觉前缀调优与对比学习
内容提要
本文介绍了首个序列视觉语言数据集的发布，包含81,743张图片和20,211个序列，旨在推动视觉叙事任务的发展。研究提出了多种视觉叙述方法，通过结合预训练模型和增强学习，提升了故事生成的质量和连贯性。实验结果表明，新方法在信息丰富性和稳健性方面优于现有模型，展现了视觉故事生成的潜力。
延伸解读
数据集与任务演进
文章梳理了视觉叙事任务的发展脉络：从2016年提出计算创意视觉叙述管道，到2018年引入话题描述任务和多代理通信框架，再到2019年结合概念选择与常识知识图谱，任务定义和数据集逐步完善。首个序列视觉语言数据集包含81,743张图片和20,211个序列，为后续研究提供了基准。
技术路线对比
视觉叙事方法呈现多样化：2021年利用CLIP模型仅用文本数据训练，提升泛化能力；2023年将图像序列转化为视觉前缀，结合预训练语言模型生成故事；2024年StoryImager通过双向生成和交叉注意力实现局部保真与全局一致。不同路线在信息丰富性和稳健性上各有侧重。
评估与模型表现
文章提到新的评估方法衡量视觉联系、连贯性和重复性，并用于比较多个模型。结果显示基础模型LLaVA表现最佳，但参数更少的TAPM通过提升视觉和语言组件也能达到竞争性性能。人类评估还表明，好的故事可能需要在某些指标上超越人类水平。
Q&A
首个序列视觉语言数据集的特点是什么？
该数据集包含81,743张图片和20,211个序列，旨在推动视觉叙事任务的发展。
新提出的视觉叙述方法有哪些优势？
新方法结合预训练模型和增强学习，提升了故事生成的质量和连贯性，且在信息丰富性和稳健性方面优于现有模型。
如何提高视觉叙事的泛化能力？
通过利用跨模态预训练的CLIP模型，结合仅使用文本数据进行训练的视觉条件故事生成器。
StoryImager框架的主要功能是什么？
StoryImager是一个双向的框架，通过增强文本到图像模型的生成能力，实现更高效的故事生成。
新方法如何解决视觉故事生成中的困难？
通过结合大型语言模型和视觉语言模型的指导调整，创造具有吸引力和丰富上下文的故事。
如何评估生成故事的质量？
引入以人类相似性为基础的三个关键方面（视觉联系、连贯性和重复性）来衡量故事质量。
