断时而止：文本生成中的语义漂移研究
内容提要
该研究探讨了自然语言文本生成任务，评估了不同模型在生成流畅度和事实准确性方面的表现。提出了 DKGen 和 D-FActScore 等方法，以提高生成文本的质量，尤其是在处理歧义实体时。实验结果表明，这些新方法在一致性和准确性上优于传统模型。
延伸解读
语义漂移的根源：实体歧义与事实组合
文章指出，语言模型生成的段落可能包含可验证的事实，但由于实体的歧义性，将这些事实组合后可能形成非真实段落。例如，不同实体的信息被混合，导致整体叙述失真。这种语义漂移并非源于单个事实错误，而是组合过程中的歧义放大。理解这一点有助于读者认识到，评估生成文本的真实性时，需关注实体消歧和事实间的逻辑一致性，而非仅检查原子事实。
评估指标的演进：从FActScore到D-FActScore
FActScore通过分解生成文本为原子事实并计算可靠知识来源支持的百分比来评估真实性，但面对歧义实体时效果有限。D-FActScore作为增强指标，专门针对具有歧义实体的内容进行评估，实验表明其表现优于FActScore。这一演进反映了事实性评估正从粗粒度向细粒度发展，读者可关注指标如何适应复杂语言现象，以更准确地衡量模型输出。
生成流畅性与事实遵循的权衡
研究发现，自回归单向语言模型如GPT2在生成流畅度上表现更好，但难以遵循所请求的事实。基于计划和填空的解决方案（如微调XLNet）在保持有竞争力的流畅度同时，能更好地遵循请求内容。这揭示了文本生成中流畅性与事实准确性之间的固有张力，读者在应用模型时需根据任务需求权衡，例如事实扩展任务可能更侧重遵循性。
外部知识整合：DKGen的动态参考选择
DKGen将文本生成划分为迭代过程，通过动态选择相关性高的参考段落，消除与先前生成文本和查询无关的引用，从而增强正确使用外部知识的能力。实验表明DKGen优于所有基准模型。这种方法强调了在生成过程中持续筛选和整合外部知识的重要性，为读者提供了提升生成事实准确性的实用思路，尤其是在需要引用多源信息的场景中。
Q&A
DKGen 方法是如何提高文本生成准确性的？
DKGen 方法通过动态选择相关性高的参考段落，增强了生成文本的准确性，消除了与先前生成的文本和查询无关的引用。
D-FActScore 与 FActScore 有什么区别？
D-FActScore 是一种增强指标，专门用于评估具有歧义实体的段落的真实性，表现优于 FActScore。
自回归的单向语言模型在文本生成中存在哪些局限性？
自回归的单向语言模型如 GPT2 在生成流畅度上表现更好，但难以遵循请求的事实。
该研究使用了哪些数据集来训练模型？
研究引入了一个新的基于维基百科和维基数据的大规模数据集，用于训练关系分类器和事实提取模型。
文本生成中的语义漂移是如何影响生成结果的？
由于实体的歧义性，语言模型生成的段落可能包含可验证的事实，但组合后可能形成非真实段落。
研究中提出的事实增强训练方法是什么？
研究提出了基于主题前缀和句子补全的事实增强训练方法，以提高生成文本的事实准确性。
