语言模型中的真值判断：信念方向是上下文敏感的

BriefGPT - AI 论文速递 · 2024-04-29T00:00:00Z

最近的研究发现，大语言模型（LLM）可以通过对其内部激活进行训练来推断其是否在讲真话。本研究通过高质量的数据集详细研究了LLM对真实性的表示结构，并提出证据表明LLM线性地表示事实陈述的真实性或虚假性。同时，介绍了一种新技术，质量均值推断法，具有更好的推广性和与模型输出相关性。