关注满足：论语言模型的事实错误的约束满足视角

该研究使用Transformer-based大型语言模型，研究了其生成错误文本时的内部行为，并将事实查询建模为约束满足问题。通过研究11个数据集，研究提出了一种可以预测约束满足和事实错误、并且可以早期发现错误的self-attention模式探查方法SAT Probe。利用对大型语言模型中事实性的机械理解可以提高可靠性。