本研究提出了一种解码大型语言模型(LLMs)神经元权重的方法,提升了模型的可解释性和安全性。研究表明,特定概念的神经元与输出概率密切相关。
文章提出目的论方法,主张从大语言模型的训练任务——互联网文本下一词预测——理解其行为。研究预测任务概率、目标输出概率和输入概率对模型准确性的影响,并用GPT-3.5和GPT-4进行十一项任务验证。结果显示,高概率输出时表现更好,低概率时明显下降,如GPT-4解码密码准确率从51%降至13%。作者建议低概率场景慎用,并将大语言模型视为受特定压力塑造的独特系统。
完成下面两步后,将自动完成登录并继续当前操作。