透过模式插值理解扩散模型中的幻觉
原文中文，约500字，阅读约需2分钟。发表于：。由于扩散模型解码器的不连续损失面导致的中间插值现象，扩散模型在训练集中平滑地插值产生了完全不属于原始训练分布支持范围的样本（即幻觉），我们通过对高斯数据和各种形状的人工数据进行实验，展示了这种幻觉与形状组合生成之间的关联，并提出了一种简单的度量标准来识别幻觉，该度量标准能够在保留 96% 的原始样本的同时去除 95% 以上的幻觉。最后，我们通过在 MNIST 和 2D...
最近的语言模型在生成虚假文本方面存在问题，可能对人造成伤害。研究发现，这是固有的统计原因，与架构和数据质量无关。预训练模型可能需要后期处理以减轻幻觉。不过，预训练不会在引用和算术计算等事实上产生幻觉。
