2025北外滩网络安全论坛 | 上海人工智能实验室王迎春：走向人工智能安全评估新阶段
内容提要
王迎春指出，当前人工智能发展重性能轻安全，亟需协同创新。上海人工智能实验室致力于构建安全评测体系，提出"三个之变"以应对新挑战，推动AI安全评估的系统化与工程化，确保AI安全可信发展。
关键要点
-
王迎春指出当前人工智能发展重性能轻安全，亟需协同创新。
-
上海人工智能实验室致力于构建安全评测体系，推动AI安全评估的系统化与工程化。
-
当前AI安全工作多停留在事后补救层面，亟需从源头打造安全的人工智能。
-
新智能形态带来新安全形势，原有评估方法已不适用，存在明显不足。
-
AI安全评估面临评测方法创新不足、迭代失衡和互认机制缺失三大挑战。
-
王迎春提出重塑AI安全评估的思路，强调评测需深入探寻模型机理。
-
提出'三个之变'：深度之变、定位之变、能力之变，以应对AI安全评估的挑战。
-
上海人工智能实验室推动AI安全评测向专业领域评测和持续迭代评测迈进。
-
实验室联合多家医院成立医疗大模型应用检测验证中心，制定AI安全评估国标。
-
未来将推动AI安全评估系统化、工程化、平台化、装置化，确保AI安全可信发展。
延伸解读
人工智能安全的现状与挑战
当前人工智能领域普遍存在重性能轻安全的问题，导致安全研究投入不足。王迎春强调，AI的安全评估需要从事后补救转向事前设计，以应对新智能形态带来的安全挑战。
评测方法的创新需求
王迎春指出，现有的AI安全评测方法存在明显不足，尤其是在动态环境下的评测能力。未来需要构建更系统化、可量化的评测平台，以确保评估结果真实反映潜在风险。
三个之变的战略意义
王迎春提出的'三个之变'（深度之变、定位之变、能力之变）为AI安全评估提供了新的思路。这一战略不仅有助于提升评测的科学性，也能推动AI技术的安全可信发展。
延伸问答
王迎春在论坛中提到的人工智能发展现状是什么？
王迎春指出当前人工智能发展重性能轻安全，亟需协同创新。
上海人工智能实验室在AI安全评估方面有哪些具体举措？
实验室推动AI安全评测向专业领域评测和持续迭代评测迈进，并联合多家医院成立医疗大模型应用检测验证中心。
王迎春提出的'三个之变'具体指的是什么？
'三个之变'包括深度之变、定位之变和能力之变，旨在重塑AI安全评估。
当前AI安全评估面临哪些主要挑战？
主要挑战包括评测方法创新不足、迭代失衡和互认机制缺失。
王迎春如何看待AI安全评估的未来发展？
他展望未来需推动AI安全评估系统化、工程化、平台化、装置化，确保AI安全可信发展。
上海人工智能实验室的'SafeWork'体系有什么作用？
'SafeWork'体系能在提升安全可信表现的同时，提升模型性能。
