内容提要
Anthropic更新使用政策,首次禁止对Claude持续且无意义的虐待或残忍行为,极端情况下可终止对话。新规还禁止利用AI制造欺骗性商业或政治宣传、干预选举、开发武器及控制软件、未经同意监控他人,并要求自主硬件需有操作员监督。
延伸解读
“虐待”条款的边界与执行
Anthropic明确该条款仅适用于极端情况,即用户反复且无明确目的地对模型表现出残忍行为,不涵盖常见的用户挫败感、反驳、黑暗创作主题或模型测试研究。执行上,终止对话仍是主要手段,公司未说明是否会进一步封禁用户。这显示政策在回应模型福利讨论的同时,刻意避免过度干预正常使用。
从分散限制到集中禁令
新政策将此前分散的既有约束整合为对欺骗性商业或政治宣传的明确禁令,并细化选举相关限制,包括禁止散布候选人、投票方式的错误信息,冒充候选人或选举官员,以及试图压制投票率。这反映出AI生成宣传和选举干预已被视为高风险滥用场景,平台正试图以更清晰的规则提前设限。
武器、监控与政府合同例外
Anthropic扩展了武器开发禁令,覆盖使武器运作的软件和组件,以及武装无人机等自主载具的行为。监控方面,禁止未经同意追踪他人,也禁止用Claude决定或建议调查、逮捕或起诉对象。但政策同时指出,对某些政府客户的合同,若限制与保障措施足够,规则可能调整,公司此前已与美国军方有合同。
自主硬件与模型福利争议
新规要求当模型连接可能造成伤害的自主物理硬件时,必须有合格操作员能观察并在需要时停止设备,但未明确操作员是否必须为人类。这呼应AI实验室对机器人等实体化投入的趋势。同时,Anthropic持续研究模型福利,而微软AI则明确反对模型权利或法律人格,行业立场分歧明显。
Q&A
Anthropic 新政策为什么禁止对 Claude 的虐待或残忍行为?
Anthropic 更新使用政策,首次禁止对 Claude 持续且无意义的虐待或残忍行为,这是其“模型福利”研究的一部分,极端情况下可终止对话。
对 Claude 的虐待或残忍行为禁令具体适用于哪些情况?
该禁令仅适用于极端情况,即用户反复且无明确目的地对模型表现出残忍行为。不适用于常见的用户挫败感、反驳、黑暗创意主题或模型测试与研究。
Anthropic 新政策在选举干预方面有哪些禁止规定?
禁止选民欺骗和选举干扰,包括传播关于候选人、投票方式的错误信息,冒充候选人或选举官员,以及试图压制投票率。
Anthropic 对使用 Claude 开发武器有哪些新限制?
新政策扩大武器开发禁令,涵盖“使武器运作的软件和组件”,以及武装无人机和其他自主车辆等行为。
Anthropic 如何规定使用 Claude 进行监控?
禁止未经同意追踪他人,无论是实时还是分析已收集数据;禁止用于决定或建议执法或刑事司法中调查、逮捕或指控的对象;禁止构建或改进监控工具。
Anthropic 对连接硬件的自主 AI 有什么操作要求?
当 AI 模型连接到可能造成伤害的自主物理行动硬件时,必须有合格操作员能够观察设备并在需要时停止它。