内容提要
Anthropic CEO Dario Amodei反对禁止开源权重模型,提议对高能力模型实施强制安全测试,并加强芯片出口管制与反蒸馏措施。测试门槛未明确,引发争议。OpenAI、谷歌等支持,Anthropic未加入Nvidia开源联盟。全球测试机制依赖国际合作,前景不明。
延伸解读
“足够强大”的门槛是关键
Anthropic提议对“足够强大”的模型进行强制安全测试,但未明确门槛定义。这一模糊性意味着政策可能成为变相的能力阈值,影响开源模型的发布。测试指标(如基准分数、训练算力)的选择将决定哪些模型受限,而谁制定标准、谁执行测试也未说明。这为政策执行带来不确定性,可能影响所有发布权重的实验室。
开源联盟的分歧
Anthropic未加入Nvidia发起的开放安全AI联盟,尽管其主张测试而非禁令。Nvidia认为开放前沿模型对安全调查至关重要,而Anthropic虽支持测试,却未参与该联盟,且自身不发布开放权重模型。这种立场差异反映了行业对开源安全的不同看法,也凸显了Anthropic在开源社区中的孤立地位。
全球合作的现实挑战
Amodei承认测试机制需要全球合作,包括中国,但这一前提目前难以实现。出口管制和反蒸馏措施可由美国单方面实施,而全球测试制度依赖国际协议,前景不明。这成为提案中最大的未解问题,也意味着该政策可能难以落地,或仅能在部分国家推行,影响其有效性。
Q&A
Anthropic对开源权重模型的态度是什么?
Anthropic并不主张禁止开源权重模型,而是提议对每个足够强大的模型在发布前进行强制安全测试。
Anthropic提出的安全测试建议包括哪些内容?
Anthropic的建议包括:加强先进芯片和芯片制造设备的出口管制,打击工业规模的模型蒸馏,以及要求对每个足够强大的模型在发布前进行安全评估。
Anthropic提案中关于安全测试的争议点是什么?
争议点在于“足够强大”的定义尚未明确,这决定了哪些模型需要测试,以及测试门槛由谁设定和如何衡量。
哪些公司支持Anthropic的提案?
OpenAI、谷歌、微软、英伟达、Meta、AMD、思科、Cloudflare、GitHub和Ollama等公司已签署支持信。
Anthropic是否加入了英伟达发起的开放安全AI联盟?
没有,Anthropic并未加入该联盟,亚马逊也未加入。
Anthropic对全球测试机制的看法是什么?
Anthropic承认测试需要全球合作,包括中国的参与,但这一机制目前尚不存在,可能永远无法实现。