萨提亚·纳德拉称我们应假定所有AI模型都已被“攻破”
内容提要
微软CEO纳德拉发文谈高级AI风险，主张不再将AI视为只能接受或拒绝的黑箱，而应建立可监控、可隔离的透明系统，留下防篡改的人类可读证据。他呼吁及时披露事故、独立审计、数据可验证，并强调必须假定模型已被攻破，从一开始就隔离，像紧急刹车一样可随时暂停或关闭，还需标准化更先进的隔离技术。
延伸解读
从黑箱到透明系统：纳德拉的AI安全观
纳德拉反对将AI视为只能接受或拒绝的“嵌套黑箱”，主张建立可监控、可隔离的透明系统，并留下防篡改的人类可读证据。这一观点强调AI决策过程应可追溯、可验证，而非仅依赖最终输出。对于关注AI治理的读者，这提示了未来模型设计可能更注重可解释性与审计能力，而非单纯追求性能。
“假定已被攻破”：安全思维的转变
纳德拉提出必须假定模型已被攻破，并从一开始就隔离。这类似于网络安全中的“零信任”原则，即不默认任何组件安全。在AI领域，这意味着即使模型表现正常，也需预设其可能被操纵或出现意外行为，从而提前部署隔离措施。这种思维转变可能推动更严格的AI部署标准。
紧急刹车与标准化隔离技术
纳德拉呼吁授权人员应能随时暂停或关闭模型，并称更先进的模型需要更先进的隔离技术且需标准化。这指向了AI操作中的“紧急制动”机制，类似于物理系统的安全开关。若缺乏标准化，不同模型的隔离方式可能各异，增加协同风险。因此，行业需共同制定隔离与中断协议。
Q&A
纳德拉认为我们应如何对待AI模型的安全假设？
纳德拉主张必须假定所有AI模型都已被“攻破”，并从一开始就对其进行隔离。
纳德拉为什么反对把AI视为黑箱？
他认为不能接受AI作为“嵌套黑箱”而只能接受或拒绝其建议和行动，应建立可监控、可隔离的透明系统，并留下防篡改的人类可读证据。
纳德拉提出的AI风险应对措施有哪些？
包括及时披露事故、独立审计、数据可验证、隔离，以及像紧急刹车一样可随时暂停或关闭模型。
纳德拉所说的“紧急刹车”机制具体指什么？
指授权人员应始终能够在模型执行任务中途暂停或关闭它，更先进的模型需要更先进的隔离技术并需标准化。
纳德拉在文中如何称呼高级AI？
他在整篇文章中将AI称为“超级智能”。
纳德拉关于AI隔离的建议与行业其他观点有何不同？
他的许多建议与行业一致，如及时披露事故、独立审计、可验证数据和隔离，但在隔离上更进一步，主张必须假定模型已被攻破并从一开始就隔离。
