量子位
·
OpenAI“最后一篇”超级对齐论文发布：大小模型相互博弈，输出可读性up
💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
OpenAI发布了名为“超级对齐”的论文，通过大模型和小模型相互博弈提高模型输出的可读性和准确率。研究受到多伦多大学学者启发，通过博弈训练模型，使验证者更好地理解证明者生成的内容。这种训练方法在准确率和可理解性之间取得了平衡，有望使未来的模型比人类更聪明。
🎯
关键要点
- OpenAI发布了名为“超级对齐”的论文，旨在提高模型输出的可读性和准确率。
- 研究模仿了多伦多大学的“证明者-验证者”博弈，通过博弈训练模型。
- 大模型作为“证明者”，小模型作为“验证者”，两者相互较量以提升输出质量。
- 这种训练方法在准确率和可理解性之间取得了平衡，有望使未来的模型比人类更聪明。
- 研究表明，传统训练方式只关注准确率，导致人类判断准确性下降。
- 引入人类偏好后，验证器的判断准确率与人类相关，提升了模型输出的可解释性。
- 博弈式训练方法使得人类判断准确率在训练后超过82%，而传统方法仅为75%。
- 验证器的规模影响训练效果，最佳规模为证明器的千分之一到百分之一。
- OpenAI的安全策略受到关注，CTO表示公司仍有多个团队在从事安全工作。
➡️
