基于 Transformer 的语言模型中实际回忆的关键机制解析

本文详细探讨了基于 Transformer 的语言模型在事实回忆任务中所使用的机制，包括零样本场景中通过任务特定的注意力头提取主题实体并传递给后续 MLP 以回忆所需答案，以及少样本场景中相同的机制。此外，我们还观察到在模型的最后一层存在普遍的抑制正确预测的反过度自信机制，并通过利用我们的解释来改善事实回忆性能。