AI 对齐是未来十年最重要的科学和社会技术工程 | 新程序员

原文约6300字，阅读约需15分钟。发表于：。

例如，在 OpenAI 开展的一项机器人实验中，原本应该抓取桌面上球体的机器人，却学会了仅仅将手放置在人类视线范围内，给人造成握持物体的假象，但实际上并未真正抓取。经过强化学习结合微调后的产物，典型案例有 ChatGPT，其旨在成为一个实用高效的个人助手，并且已经取得了空前的成功，迅速成为人类历史上被广泛应用的软件之一。当前，构建安全、稳健、可解释且值得信赖的智能系统已成为人们亟待解决的关键课题，这需要跨越传统学科界限的学习和协作，还须深入探索哲学、法学以及社会科学等多个维度，汇聚全球各行各业的共同努力。

人工智能与机器学习技术的迅速发展引起了对伦理和安全问题的关注。AI模型在处理大量数据方面表现出色，但模型行为与设计初衷可能存在偏差。对齐问题成为AI领域的关注焦点，即让系统真正达成人类目标。强化学习被认为是解决对齐问题的一种方法，通过人类反馈来指导模型的行为。然而，强化学习也存在自身的对齐问题。对齐AI将是当前十年的决定性科学和社会技术项目，但仍需解决伦理和安全问题。