生成 AI 虚构率估计
内容提要
本研究探讨了深度神经模型在自然语言生成中产生虚假信息的原因，并提出了一种扩展的束搜索算法以减少虚假信息。研究表明，预测不确定性与虚假信息相关，认知不确定性更能指示虚假信息。通过分析生成的输入和输出，开发了分类器以区分幻觉与非幻觉生成，从而提升生成内容的可信度。
延伸解读
幻觉的统计根源
文章指出，预训练语言模型产生幻觉有其固有的统计原因，与模型架构或数据质量无关。对于无法从训练数据中确定真实性的“任意”事实，在统计校准条件下，产生幻觉是必要的。如果任何事实的最大概率受限，幻觉概率接近训练数据中仅出现一次的事实的比例，即“Good-Turing”估计。这意味着即使训练数据完美，幻觉也可能发生。
认知不确定性的指示作用
研究发现，预测不确定性中的认知不确定性比其他类型的不确定性（如卡方不确定性和总不确定性）更能指示虚假信息的存在。这意味着在检测幻觉时，关注认知不确定性可能更有效。这一发现为开发更准确的幻觉检测方法提供了方向。
检测与缓解策略
文章提出了多种检测和缓解幻觉的方法。例如，通过分析模型生成的输入、输出和内部状态中的指标，训练二分类器区分幻觉与非幻觉，其AUROC值达到0.80。此外，扩展的束搜索算法和“感应-对比解码”策略能有效减少虚假信息，提高生成内容的真实性。
视觉语言模型中的幻觉
研究还突出了由AI合成图像引起的大型视觉语言模型中的严重幻觉现象。合成图像引起的物体幻觉数量更多且位置分布更均匀，即使这些图像没有呈现非现实或额外相关的视觉特征。视觉投影后合成图像可能呈现令牌偏差，从而放大幻觉偏差。
Q&A
深度神经模型在自然语言生成中为何容易产生虚假信息？
深度神经模型在自然语言生成中容易产生虚假信息，主要是由于预测不确定性与虚假信息之间的相关性，尤其是认知不确定性更能指示虚假信息的存在。
如何减少深度学习模型生成的虚假信息？
可以通过提出的扩展束搜索算法来减少虚假信息的生成，该算法有效平衡了标准指标性能和虚假信息量。
认知不确定性在虚假信息生成中有什么作用？
认知不确定性比其他类型的不确定性更能有效指示虚假信息的存在，因此在检测虚假信息时具有重要作用。
研究中如何区分幻觉与非幻觉生成？
研究通过分析生成的输入和输出，开发了一个分类器，利用指标差异来区分幻觉与非幻觉生成，二分类器的AUROC值达到0.80。
预训练语言模型为何会产生幻觉？
预训练语言模型产生幻觉的统计原因是固有的，与模型架构或训练数据质量无关，尤其是在生成某些类型的事实时。
如何提高大型语言模型生成内容的真实性？
可以通过“感应-对比解码”策略来提高大型语言模型生成内容的真实性，该策略有效降低了幻觉导致的不真实预测。
