什么是一篇好故事，以及我们如何衡量它？故事评估的综合调查
内容提要
该研究探讨了故事生成技术，提出了多种评估方法和模型改进，包括基于BERT的无参考度量UNION和动态实体记忆增强方法。研究表明，自动评估指标与人工评估的相关性不足，强调了改进评估标准的重要性。通过新方法提升故事质量，结果显示基础模型LLaVA表现最佳。
延伸解读
自动评估与人工判断的差距
文章多次指出，现有自动评估指标与人工评估的相关性不足，且缺乏推理能力。OpenMEVA标准揭示了这一缺陷，HANNA数据集的分析也强调了当前评价标准的不足。这意味着仅依赖自动指标可能无法准确反映故事质量，读者需关注评估方法的局限性。
评估方法的演进与创新
从基于BERT的无参考度量UNION，到考虑人类偏好的StoryER，再到利用扰动的deltascore，评估方法不断细化。这些方法试图从不同角度捕捉故事质量，如连贯性、一致性和细粒度因素，但各自仍有适用范围和限制。
模型性能与参数效率的权衡
文章提到，基础模型LLaVA在故事生成评估中表现最佳，但参数更少的视觉叙事模型TAPM通过提升组件也能达到竞争性性能。这表明模型规模并非唯一决定因素，优化视觉和语言组件同样重要，为资源有限的研究提供了方向。
人类偏好的复杂性
人类评估研究表明，“好”的故事可能需要超越人类的视觉联系、连贯性和重复性水平。这暗示故事质量的标准可能高于日常人类表现，评估时需考虑这种超越性，而非简单模仿人类水平。
Q&A
什么是故事生成技术？
故事生成技术是指利用计算机系统在特定主题上生成连贯的文本段落，通常依赖于大规模数据集和复杂的模型结构。
UNION方法在故事评估中有什么优势？
UNION是一种基于BERT的无参考度量方法，能够更好地评估生成故事的质量，具有更高的相关性和可推广性。
动态实体记忆增强方法的目的是什么？
动态实体记忆增强方法旨在提高故事生成中实体的连贯性和一致性，通过辅助实体相关性损失来指导实体记忆的读写。
为什么需要改进故事评估标准？
现有的自动评估指标与人工评估的相关性不足，缺乏推理能力，因此需要改进评估标准以提高评估的准确性。
LLaVA模型在故事生成中的表现如何？
LLaVA模型在故事生成中表现最佳，显示出与人类偏好的高相关性，能够有效提升故事质量。
如何评估生成故事的质量？
生成故事的质量可以通过多种方法评估，包括自动评估指标、人工评估标准以及新提出的评估方法如StoryER。
