2025北外滩网络安全论坛 | 上海人工智能实验室王迎春：走向人工智能安全评估新阶段
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
王迎春指出，当前人工智能发展重性能轻安全，亟需协同创新。上海人工智能实验室致力于构建安全评测体系，提出"三个之变"以应对新挑战，推动AI安全评估的系统化与工程化，确保AI安全可信发展。
🎯
关键要点
- 王迎春指出当前人工智能发展重性能轻安全，亟需协同创新。
- 上海人工智能实验室致力于构建安全评测体系，推动AI安全评估的系统化与工程化。
- 当前AI安全工作多停留在事后补救层面，亟需从源头打造安全的人工智能。
- 新智能形态带来新安全形势，原有评估方法已不适用，存在明显不足。
- AI安全评估面临评测方法创新不足、迭代失衡和互认机制缺失三大挑战。
- 王迎春提出重塑AI安全评估的思路，强调评测需深入探寻模型机理。
- 提出'三个之变'：深度之变、定位之变、能力之变，以应对AI安全评估的挑战。
- 上海人工智能实验室推动AI安全评测向专业领域评测和持续迭代评测迈进。
- 实验室联合多家医院成立医疗大模型应用检测验证中心，制定AI安全评估国标。
- 未来将推动AI安全评估系统化、工程化、平台化、装置化，确保AI安全可信发展。
❓
延伸问答
王迎春在论坛中提到的人工智能发展现状是什么？
王迎春指出当前人工智能发展重性能轻安全，亟需协同创新。
上海人工智能实验室在AI安全评估方面有哪些具体举措？
实验室推动AI安全评测向专业领域评测和持续迭代评测迈进，并联合多家医院成立医疗大模型应用检测验证中心。
王迎春提出的'三个之变'具体指的是什么？
'三个之变'包括深度之变、定位之变和能力之变，旨在重塑AI安全评估。
当前AI安全评估面临哪些主要挑战？
主要挑战包括评测方法创新不足、迭代失衡和互认机制缺失。
王迎春如何看待AI安全评估的未来发展？
他展望未来需推动AI安全评估系统化、工程化、平台化、装置化，确保AI安全可信发展。
上海人工智能实验室的'SafeWork'体系有什么作用？
'SafeWork'体系能在提升安全可信表现的同时，提升模型性能。
➡️
