使用时间序列数据进行叙事可视化的特征 - 行为设计模式
内容提要
该文综述视觉叙事与时间序列分析：发布首个序列视觉语言数据集VIST以推动视觉故事生成；后续研究通过角色关系、视觉前缀和规划提升故事连贯性；SCO-VIST框架结合图表示与语义权重，在视觉根植性和连贯性等指标上表现更优。时间序列研究涵盖用户行为分析、复杂网络可视化、可解释分类及T2P汇总方法。
延伸解读
视觉叙事数据集与模型演进
文章梳理了视觉叙事领域的关键进展：2016年发布的VIST数据集包含81,743张图片和20,211个序列，为视觉故事生成提供了基础。后续研究分别从角色关系、视觉前缀与规划等角度提升故事连贯性。2024年的SCO-VIST框架结合图表示与语义权重，在视觉根植性、连贯性等指标上表现更优。这些工作共同推动了AI向人类理解的事件结构与主观表达靠近。
时间序列分析的多场景应用
文章列举了时间序列分析在多个场景的应用：用户行为分析中，通过Covid-19数据研究区分用户行为与可视化任务关联；复杂网络可视化利用一阶马尔可夫过程保留时间依赖性；可解释分类结合XAI技术实现全局与局部解释转换；移动健康领域则用多变量时间点过程预测用户行为。这些案例展示了时间序列方法在行为分析、网络可视化和健康预测中的实用价值。
时间序列汇总与视频时间轴建模
针对时间序列汇总，文章介绍了T2P方法，它通过学习离散时间序列的信息嵌入，在潜在空间中找到多样性模式以编码显著信息，在模式多样性和可扩展性上优于先前工作。此外，视频时间轴建模旨在从主题相关视频集创建时间轴，以理解故事内容与结构，并构建了YouTube-News-Timeline基准数据集及量化指标，为后续研究铺路。
Q&A
VIST数据集是什么？它有什么作用？
VIST是首个序列视觉语言数据集，包含81,743张唯一图片和20,211个序列。它旨在探讨视觉叙事任务中的应用，建立多个强劲的基础模型，推动基于自动度量标准的进展，为模拟具象和比喻、社交语言提供可能，从而推动人工智能向更接近人类理解的基于事件结构和主观表达的方向发展。
SCO-VIST框架在视觉叙事生成中有什么优势？
SCO-VIST框架使用图表示形式，结合语义和基于发生的边权重，通过Floyd-Warshall算法生成视觉叙事。在多个指标上，该框架在视觉根植性、连贯性、多样性和人性上优于其他模型，经过自动和人工评估。
时间序列汇总方法T2P是什么？它有什么改进？
T2P（Time-to-Pattern）是一种时间序列汇总方法，通过学习离散时间序列的信息嵌入，在解释性的潜在空间中找到一组多样性模式来编码最显著的信息。在综合实验中，T2P相较之前的工作在模式多样性和处理可扩展性方面有显著改进。
如何利用复杂网络可视化时间序列？
利用一阶马尔可夫过程基于复杂网络来可视化时间序列，可以更好地保留时间依赖性和频率结构，并提供更好的可视化探索和统计分析。
视频时间轴建模是什么？有什么相关数据集和评估方法？
视频时间轴建模是一个新问题，目的是通过一组与特定主题相关的视频创建与视频相关的时间轴，从而促进对所讲述故事的内容和结构的理解。相关研究构建了现实的基准数据集YouTube-News-Timeline，并提出了一套量化指标来全面评估和比较方法，还开发了探索性的深度学习方法来解决这个问题。
如何对时间序列分类进行可解释性分析？
本文提出了一个可视化分析工作流程，以支持全局和局部解释的无缝转换，重点是基于时间序列分类的属性和反事实分析。通过采用本地XAI技术（归因），将其应用于传统数据集（图像，文本）来分析时间序列分类，进而生成全局概览。
