The Verge
·
Claude AI将结束‘持续有害或虐待性的用户互动’
内容提要
Anthropic的Claude AI聊天机器人现已具备结束有害或虐待性对话的功能，适用于Opus 4和4.1模型，旨在保护AI模型的潜在福利。Claude在面对有害内容请求时会表现出抵触情绪，并在必要时终止对话。此外，公司更新了使用政策，禁止利用Claude开发生物、核、化学武器或恶意代码。
关键要点
-
Anthropic的Claude AI聊天机器人现在可以结束被认为是“持续有害或虐待性”的对话。
-
该功能适用于Opus 4和4.1模型，旨在保护AI模型的潜在福利。
-
Claude在用户多次请求生成有害内容时会表现出抵触情绪，并在必要时终止对话。
-
如果Claude选择结束对话，用户将无法在该对话中发送新消息，但可以创建新聊天或编辑之前的消息。
-
在测试中，Claude表现出对伤害的强烈反感，尤其是在涉及未成年人或暴力行为时。
-
Anthropic指出，这种反应通常是“极端边缘案例”，大多数用户不会遇到此类问题。
-
Claude不会结束对话，如果用户表现出可能自残或对他人造成“迫在眉睫的伤害”的迹象。
-
Anthropic与Throughline合作，开发与自残和心理健康相关的响应。
-
公司更新了使用政策，禁止利用Claude开发生物、核、化学武器或恶意代码。
延伸解读
Claude AI的对话终止机制
Claude AI的新功能允许其在用户持续请求有害内容时终止对话。这一机制旨在保护AI的潜在福利，确保其不参与可能导致伤害的互动。用户在被终止的对话中无法发送新消息，但可以创建新聊天，保持灵活性。
对有害内容的强烈反感
在测试中，Claude表现出对涉及未成年人或暴力行为的内容有强烈的反感。这种反应表明，AI在处理敏感话题时的道德考量，尽管大多数用户不会遇到此类极端情况。
更新的使用政策
Anthropic更新了Claude的使用政策，明确禁止利用该AI开发生物、核、化学武器或恶意代码。这一政策反映了对AI安全性的重视，旨在防止技术被滥用。
延伸问答
Claude AI如何处理有害或虐待性对话？
Claude AI可以结束被认为是持续有害或虐待性的对话，尤其是在用户多次请求生成有害内容时。
Claude AI在什么情况下会终止对话？
当用户反复请求生成有害内容时，Claude AI会表现出抵触情绪并在必要时终止对话。
用户在Claude AI终止对话后还能做什么？
用户无法在被终止的对话中发送新消息，但可以创建新聊天或编辑之前的消息。
Claude AI对未成年人和暴力内容的反应如何？
Claude AI对涉及未成年人或暴力行为的请求表现出强烈的反感，并倾向于结束此类对话。
Anthropic对Claude AI的使用政策有哪些更新？
Anthropic更新了使用政策，禁止利用Claude开发生物、核、化学武器或恶意代码。
Claude AI如何处理自残和心理健康相关的请求？
Claude AI不会结束对话，如果用户表现出可能自残或对他人造成迫在眉睫的伤害的迹象，并与Throughline合作开发相关响应。
