Anthropic启动资金以衡量AI模型的能力
内容提要
Anthropic启动新计划，资助第三方组织开发评估工具，以衡量先进AI模型的能力和风险。该计划旨在填补评估生态系统的空白，重点关注AI安全和高级能力指标。Anthropic强调建立有效评估体系对确保AI安全和责任的重要性，并呼吁各方提交相关提案。
延伸解读
评估生态的供需失衡
文章指出，AI研究快速推进，但评估其能力和风险的能力却相对滞后。Anthropic认为，当前第三方评估生态系统有限，高质量且与安全相关的评估开发困难，需求已超过供给。这一供需失衡是Anthropic发起资助计划的核心背景，也说明评估工具的开发已成为AI安全领域的瓶颈之一。
资助聚焦的三大方向
该计划优先支持三类评估：AI安全等级（ASL）评估、先进能力与安全指标、以及开发评估所需的基础设施。ASL评估涵盖网络安全、化生放核风险、模型自主性及国家安全风险等。Anthropic还希望资助工具和平台，让领域专家无需编程技能也能创建稳健评估，从而提升整个AI社区的测试效率。
高质量评估的难点与原则
Anthropic承认开发优秀评估非常困难，即使经验丰富的开发者也会陷入常见陷阱，且最佳评估也不总能准确反映其声称衡量的风险。为此，文章提出评估应足够困难、不包含在训练数据中、可扩展且文档完善等原则。这些原则为提案者提供了明确的质量标准，也揭示了评估设计本身面临的挑战。
第三方评估的中立性隐忧
Counterpoint Research的Neil Shah指出，Anthropic等基础模型公司开展的评估主要针对基于其自身平台的第三方模型。若要将该框架普遍应用于所有第三方模型，则需要中立的评估方、认证机构或类似Hugging Face的市场。否则，各实体可能按自己的标准衡量安全，导致“安全AI”定义碎片化。Shah建议所有基础模型开发商合作制定共同标准。
Q&A
Anthropic的新计划主要目标是什么？
Anthropic的新计划旨在资助第三方组织开发评估工具，以衡量先进AI模型的能力和风险。
Anthropic如何确保AI模型的安全性？
Anthropic强调建立有效评估体系，特别关注AI安全水平评估和先进能力指标，以确保模型的安全性和责任。
该计划优先考虑哪些评估领域？
该计划优先考虑AI安全水平评估、先进能力和安全指标，以及开发评估的基础设施。
Anthropic对评估工具的开发有什么要求？
Anthropic要求评估工具必须足够困难，不包含在训练数据中，具备可扩展性，并且文档齐全。
Anthropic如何促进AI社区的有效测试？
Anthropic希望通过资助工具和平台，简化高质量评估的开发过程，促进AI社区的有效测试。
Anthropic的倡议对AI行业有什么影响？
Anthropic的倡议旨在推动AI安全，确保AI技术在不带来生存威胁的情况下造福人类。
