生成 AI 虚构率估计
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本研究探讨了深度神经模型在自然语言生成中产生虚假信息的原因，并提出了一种扩展的束搜索算法以减少虚假信息。研究表明，预测不确定性与虚假信息相关，认知不确定性更能指示虚假信息。通过分析生成的输入和输出，开发了分类器以区分幻觉与非幻觉生成，从而提升生成内容的可信度。
❓
Q&A
深度神经模型在自然语言生成中为何容易产生虚假信息？
深度神经模型在自然语言生成中容易产生虚假信息，主要是由于预测不确定性与虚假信息之间的相关性，尤其是认知不确定性更能指示虚假信息的存在。
如何减少深度学习模型生成的虚假信息？
可以通过提出的扩展束搜索算法来减少虚假信息的生成，该算法有效平衡了标准指标性能和虚假信息量。
认知不确定性在虚假信息生成中有什么作用？
认知不确定性比其他类型的不确定性更能有效指示虚假信息的存在，因此在检测虚假信息时具有重要作用。
研究中如何区分幻觉与非幻觉生成？
研究通过分析生成的输入和输出，开发了一个分类器，利用指标差异来区分幻觉与非幻觉生成，二分类器的AUROC值达到0.80。
预训练语言模型为何会产生幻觉？
预训练语言模型产生幻觉的统计原因是固有的，与模型架构或训练数据质量无关，尤其是在生成某些类型的事实时。
如何提高大型语言模型生成内容的真实性？
可以通过“感应-对比解码”策略来提高大型语言模型生成内容的真实性，该策略有效降低了幻觉导致的不真实预测。
🏷️
