Chess-GPT 的内部世界模型 [译]
内容提要
本文介绍了Chess-GPT模型在国际象棋中的表现，通过分析500万局对局，达到了约1300 ELO的棋力。模型准确追踪棋盘状态，掌握多种规则，并预测玩家技能水平。Chess-GPT展现出令人印象深刻的表现。
延伸解读
小模型也能下好棋：数据与训练效率的启示
Chess-GPT 仅用 5000 万参数、4 块 RTX 3090 训练一天，就达到约 1300 ELO，且 99.8% 的走棋合法。这挑战了“大模型才能下好棋”的直觉，说明在规则明确、数据充足的领域，中等规模模型配合高质量数据（如 Stockfish 对局）也能获得可观棋力。作者还发现，继续训练几天后 ELO 可升至 1500，暗示性能仍有提升空间。对于资源有限的研究者，这提供了一个可复现的基准。
线性探针揭示内部棋盘：模型真的“理解”了状态
通过线性探针，作者发现 Chess-GPT 的内部激活能准确重构棋盘状态，在 10000 局游戏中方格分类准确率达 99.2%。模型更倾向于使用“我的棋子/对手的棋子”表征，而非“黑/白”表征，作者推测这是因为模型学习了一套双方共用的预测程序。热力图进一步显示，模型对黑王不在白方区域等判断具有高置信度。这些证据表明，模型并非简单记忆，而是构建了可被线性解码的世界模型。
从棋局中读出玩家水平：潜在变量的意外收获
Chess-GPT 还能估计玩家的 ELO 等级。在区分低于 1550 或高于 2050 的玩家时，线性探针分类准确率达 89%，远高于随机初始化模型的 66%。作者将此与 OpenAI 的“情感神经元”现象类比，认为预测下一个字符的大型网络会自发学习数据中的潜在变量。不过，由于 Lichess 数据中玩家 ELO 范围较窄，回归任务的误差较大，分类任务的结果更具说服力。这提示我们，语言模型可能隐含地建模了文本背后的生成条件。
证据的边界：因果干预尚未完成
作者坦承，当前证据主要来自线性探针的相关性分析，尚未进行因果干预。例如，若能改变模型对棋盘状态的内部理解并观察其走棋是否相应变化，证据会更充分。此外，探针在预测玩家技能时，模型可能学到了与技能高度相关的其他特征。尽管如此，作者遵循了探针训练的最佳实践（独立训练集和测试集），且棋盘状态探测任务具体而实际，因此结果仍具参考价值。未来工作可探索因果干预和内部计算机制。
Q&A
Chess-GPT 是什么？它的棋力大概有多强？
Chess-GPT 是一个基于 GPT 架构、通过预测国际象棋 PGN 字符串中的下一个字符来训练的语言模型。一个 5000 万参数的模型在训练一天后达到了约 1300 ELO 的棋力，继续训练几天后 ELO 可达 1500。
Chess-GPT 是如何训练出来的？用了哪些数据和硬件？
模型使用 5000 万参数，在 4 块 RTX 3090 显卡上训练了一天。训练数据包括：由 Stockfish ELO 3200 作为白方与不同等级黑方对弈生成的 500 万局合成棋局，以及从 Lichess 公共数据库获取的 1600 万局人类对局。模型采用字符级建模，词汇量仅 32 个 Token。
Chess-GPT 能正确追踪棋盘状态吗？准确率如何？
能。线性探针在 10,000 场游戏中成功对 99.2% 的方格进行了准确分类（13 个类别：空格、白/黑方的兵、车、象、马、王、后）。模型更倾向于使用“我的棋子/对方的棋子”的棋盘表示，而非传统的“黑子/白子”。
Chess-GPT 生成的走法合法率有多高？能下出新棋局吗？
模型 99.8% 的走棋合法，即使在第 80 回合也能正确做出合法走棋。在随机抽查的 100 局棋中，每一局到第 10 轮（20 步）时都是全新的，未出现在训练数据中，说明模型能生成新颖棋局而非简单记忆。
Chess-GPT 能预测玩家的 ELO 等级吗？效果怎么样？
能。线性探针在分类任务中（区分 ELO 低于 1550 或高于 2050 的玩家）达到了 89% 的准确率，而随机初始化模型的探针仅 66%。回归任务中平均误差为 150 ELO，但由于 Lichess 数据集中玩家 ELO 范围较窄（1550-1930），分类任务更能体现模型能力。
这项研究有哪些局限性或未来可探索的方向？
局限性包括：尚未进行因果干预实验（如改变模型内部棋盘状态观察走法变化），线性探针能力有限。未来方向包括：对模型进行因果干预、研究模型为何有时不能做出合法移动、探索模型如何计算棋盘状态、寻找内部树状搜索机制，以及将线性探测工具应用于更通用的语言模型。
