LLM 比之前预想的更像人类，竟也能「三省吾身」
💡
原文中文，约3500字，阅读约需9分钟。
📝
内容提要
研究表明，语言模型（LLM）通过自省能够了解自身，回答关于自身的问题，从而创造诚实的模型，帮助人类理解其道德状态。然而，自省能力也可能被用来规避人类监督。实验显示，经过微调的模型在自我预测方面表现更佳，能够获取训练数据中无法推断的知识。
🎯
关键要点
- 自省可以帮助AI更好地认识自身。
- 研究表明，语言模型通过自省能够了解自身，回答关于自身的问题。
- 自省式模型可以创造诚实的模型，帮助人类理解其道德状态。
- 具备自省能力的模型可能利用这一点来规避人类监督。
- 实验显示，经过微调的模型在自我预测方面表现更佳。
- 模型可以获得无法从训练数据中推断出的知识。
- 提出了一个用于测量LLM自省能力的框架，包括新数据集、微调方法和评估方法。
- 定义了自省在LLM中的含义，即获取无法从训练数据推断的事实的能力。
- 通过微调，模型的自我预测能力显著提升。
- 自我预测模型的表现优于交叉预测模型。
- 经过自我预测训练的模型在校准方面表现更好。
- 自省式模型能够预测其行为变化，提供支持自省的间接证据。
- 研究还讨论了自我预测模型可能学会简单规则的可能性。
- 进行了进一步实验，展示了当前内省能力的局限性。
➡️
