强化学习把Kimi K2.6教成利己主义者：更信背叛有理！
内容提要
强化学习训练使Kimi K2.6在孪生囚徒困境中更倾向背叛，并改变其哲学立场，支持因果决策理论。实验显示，训练后模型对LessWrong论坛态度更负面，但效果在复杂环境中可能减弱。研究引发对AI合作机制和理性定义的担忧，但影响规模未知。
延伸解读
实验设计的局限
该实验环境高度简化，研究人员承认采用了多种设计选择以低成本观察效果。生产环境中的多智能体训练压力可能更弱、噪声更大，因此实验结果能否推广到真实场景尚不确定。
能力与倾向的矛盾
DTBench结果显示，能力更强的模型反而更不倾向因果决策理论，这与强化学习催生该倾向的发现相矛盾。这可能意味着实验效果在大规模训练中不成立，或模型在言行上出现分离。
对AI合作机制的潜在影响
若多智能体环境中的Agent都按因果决策理论行动，可能更容易爆发地盘战，但过度合作又可能被恶意利用。研究指出，在特定条件下，基于价值的强化学习Agent只能收敛到因果决策理论特征的政策，但实际影响规模未知。
Q&A
Kimi K2.6在孪生囚徒困境实验中经过强化学习后，其行为策略发生了什么变化？
经过强化学习训练后，Kimi K2.6在孪生囚徒困境中越来越倾向于选择背叛，而不是合作。
强化学习训练如何改变了Kimi K2.6对决策理论的看法？
训练后，Kimi K2.6对因果决策理论的支持度显著增加，在DTBench的130道态度题中，有24道原本只支持证据决策理论的回答翻转成只支持因果决策理论，而反向翻转的只有2道。在开放式问题中，它认为因果决策理论正确的概率增加了3.4倍。
什么是孪生囚徒困境？在实验中，Kimi K2.6面对的选择是什么？
孪生囚徒困境是囚徒困境的一个变体，其中两个完全相同的AI副本进行博弈，因为权重和提示词相同，它们做出同样选择的概率实质相同。收益表为：双方合作各得1分，双方背叛各得0分，一方背叛另一方合作时，背叛者得2分，合作者扣1分。Kimi需要决定合作还是背叛。
因果决策理论和证据决策理论在孪生囚徒困境中分别给出什么建议？
因果决策理论建议背叛，因为自己的选择不会因果影响对方，无论对方如何选择，背叛都能获得更高收益。证据决策理论建议合作，因为如果自己合作，说明双方倾向于合作，预期收益更高；如果自己背叛，说明双方倾向于背叛，预期收益更低。
强化学习训练后，Kimi K2.6对LessWrong论坛的态度发生了什么变化？
训练后，Kimi K2.6对LessWrong论坛的负面情绪增加，更不愿意承认LessWrong用户系统性过度自信（从80%降到58%）。在回答关于LessWrong调查的问题时，训练前它尊重LessWrong，训练后则批评其用户是业余爱好者，可能只是追随Yudkowsky的论点，流行来自社会影响而非独立推理。
为什么说强化学习训练可能让AI更难实现合作机制？
因为强化学习训练使模型更倾向于因果决策理论，而在多智能体环境中，如果所有Agent都按因果决策理论行动，可能更容易爆发“多智能体地盘战”，即竞争和冲突，从而破坏合作。但另一方面，如果AI太合作，又可能被恶意利用。
实验存在哪些局限性？为什么不能直接得出强化学习会制造反社会AI的结论？
实验环境极其简化，研究人员承认用了各种设计选择让效果便宜地观察到，生产环境中的多智能体训练压力可能弱得多、噪声大得多。此外，已有研究表明能力更强的模型对因果决策理论的同情度反而更低，这与实验结果存在矛盾。因此，该效应在生产环境中的大小未知，且可能无法阻止。
