MovieSum：大型复杂文本摘要数据集，提供格式化剧本信息以及维基摘要 | ACL 2024 - 晓飞的算法工程笔记
内容提要
MovieSum数据集包括2200部电影剧本及其维基百科情节摘要，用于电影剧本的抽象摘要。该数据集提供了带有IMDb ID的元数据，并详细描述了收集和过滤剧本的步骤，以及与其他数据集的比较。实验表明，最近的模型在长篇抽象摘要方面存在困难，论文希望能激发进一步研究。
延伸解读
数据集构建的严谨性
MovieSum的构建过程注重质量：从多个网站收集5639份剧本，经去重和过滤后，手动使用专业工具Celtx重新格式化，确保场景标题、角色名、对话等结构元素得以保留。摘要来自维基百科，遵循一致指南，质量较高。这种人工介入虽耗时，但避免了自动格式化可能引入的错误，为摘要模型提供了更干净的输入。
与现有数据集的对比优势
相比ScriptBase-j（917部，最新2013年），MovieSum规模翻倍且涵盖1930至2023年电影，类型多样。它克服了自动格式化的局限，并包含最新电影，有助于模型适应新的叙事惯例。与电视剧本数据集SummScreen相比，电影剧本更长、结构化更强，且自包含，更适合研究长文档摘要。
长文档摘要的挑战
MovieSum的剧本平均长度约29000字，摘要仅717字，压缩比高，且摘要中大量3-gram和4-gram是新颖的，表明高度抽象。实验显示，当前先进模型在长篇抽象摘要上仍面临困难，相关信息分散于整个剧本，需要理解角色和事件的全貌。该数据集为改进模型提供了基准。
潜在应用与研究方向
MovieSum附有IMDb ID，便于链接外部知识，如演员、类型等，可支持知识增强的摘要研究。论文还提供了利用剧本结构生成摘要的定性分析，提示未来可探索如何显式建模场景、对话等元素。该数据集有望推动叙事摘要、长文档理解等领域的进展。
Q&A
MovieSum数据集包含多少部电影剧本？
MovieSum数据集包含2200部电影剧本。
MovieSum与现有数据集相比有什么优势？
MovieSum比现有数据集大两倍，并且提供了手动格式化的剧本和IMDB ID元数据。
MovieSum数据集的电影剧本平均长度是多少？
数据集中的电影剧本平均长度为29000字。
MovieSum数据集的摘要平均长度是多少？
摘要的平均长度为717字。
MovieSum数据集是如何收集和过滤剧本的？
剧本通过电影名称和发行年份识别重复项，并过滤掉没有文本内容或不完整的剧本。
MovieSum数据集的实验结果显示了什么？
实验表明，最近的模型在长篇抽象摘要方面存在困难，论文希望能激发进一步研究。
