WAIC 2024开幕，上海AI Lab主任、首席科学家周伯文提出“人工智能45°平衡律”
内容提要
7月4日，上海举办了2024世界人工智能大会暨人工智能全球治理高级别会议。周伯文在会上发表演讲，阐述了他的新技术主张“人工智能45°平衡律”和上海人工智能实验室实现该主张的技术路径“可信AGI的因果之梯”。他强调了人工智能安全的重要性，呼吁在AI发展中追求安全与性能的平衡。他还介绍了上海人工智能实验室正在探索的以因果为核心的技术路径，称之为“可信AGI的因果之梯”。他希望通过这种技术思想体系，实现人工智能的安全与卓越性能的平衡。
延伸解读
AI安全投入失衡的现状
周伯文指出，当前AI安全技术的投入远远落后于AI能力的提升，导致AI发展呈现“跛脚”状态，即Crippled AI。安全技术如红队测试、安全护栏等呈现零散化、碎片化且后置性的特性，而性能却因Scaling Law指数级增长。这种失衡不仅体现在研究体系化、人才密集度上，也体现在商业驱动力和算力投入上。因此，他呼吁在AI发展中追求安全与性能的平衡，避免长期失衡带来的风险。
45°平衡律的实践要求
周伯文提出的“AI-45°平衡律”要求安全与性能共同增长，短期可有波动，但长期不能低于或高于45度。实现这一平衡需要强技术驱动、全流程优化、多主体参与以及敏捷治理。这意味着AI发展不能只追求性能而忽视安全，也不能因过度强调安全而阻碍产业应用。该平衡律为AI安全与性能的协同发展提供了可衡量的框架，强调了技术体系在其中的核心作用。
因果之梯的三阶段路径
上海AI实验室探索的“可信AGI的因果之梯”分为泛对齐、可干预、能反思三个阶段。泛对齐依赖统计相关性，可能忽视因果关系导致错误推理；可干预通过人在回路、机械可解释性等技术探究因果机制；能反思则要求AI审视自身行为的影响和潜在风险。目前AI安全技术主要停留在第一阶段，部分尝试第二阶段，但实现安全与性能平衡必须完善第二阶段并攀登第三阶段。这一路径为可信AGI的发展提供了递进式的技术路线。
Q&A
什么是人工智能45°平衡律？
人工智能45°平衡律是指在长期发展中，AI的安全与性能应保持大体上沿着45度的平衡发展，短期可以波动，但不能长期低于或高于这个平衡线。
周伯文在WAIC 2024上提出了哪些技术路径？
周伯文提出了“可信AGI的因果之梯”，该路径分为三个阶段：泛对齐、可干预和能反思。
当前人工智能发展存在哪些安全与性能的失衡问题？
当前AI的性能提升速度远超安全技术的发展，导致AI发展被称为Crippled AI，表现为安全技术零散化和后置性。
可信AGI的因果之梯的三个阶段分别是什么？
三个阶段分别是：泛对齐、可干预和能反思。
周伯文对AI安全的看法是什么？
周伯文强调AI安全的重要性，呼吁在AI发展中追求安全与性能的平衡，避免AI失控和潜在风险。
如何实现人工智能的安全与卓越性能的平衡？
需要建立以因果为核心的技术体系，推动安全与性能共同增长，探索可信AGI的因果之梯。
