研究表明，大型语言模型的内部表征包含丰富的真实性信息，有助于提高错误检测能力。研究发现特定标记中集中的真实性信息，并指出内部编码与外部行为的差异，为未来的错误分析和改进提供了新方向。

本研究探讨了大型语言模型中上下文学习和监督微调对内部表征的影响。研究发现，ICL产生了层次化且可解释的表征，而SFT的表征更模糊。该研究为优化从语言模型提取信息的方法提供了新的思路和方向。

本研究重新审视了连续学习基准，发现模型表示通常会经历较小的表示忘却，并展示了其对模型容纳能力和损失函数的影响。研究提出了一个简单但竞争力强的方法。