对新知识进行细调的 LLMs 是否鼓励产生幻觉？
原文中文，约500字，阅读约需2分钟。发表于：。大型语言模型在通过有监督微调对齐时，会遇到并未通过预训练获得的新的事实信息，从而可能教会模型产生虚假的事实错误响应，导致模型训练生成不基于其现有知识的事实。本研究旨在研究这种新知识暴露对经过微调的模型利用其现有知识的影响。我们设计了一个可控制的实验，并集中于封闭式问答，通过在微调示例中引入新知识的比例来变化。我们证明大型语言模型在微调过程中较难获得新的事实知识，因为引入新知识的微调示例要比与...
最近的语言模型在生成虚假文本方面存在问题，可能对人造成伤害。研究发现，这是固有的统计原因，与架构和数据质量无关。预训练模型可能需要后期处理以减轻幻觉。不过，预训练不会在引用和算术计算等事实上产生幻觉。
