The Verge
·
Claude AI将结束‘持续有害或虐待性的用户互动’
💡
原文英文，约400词，阅读约需2分钟。
📝
内容提要
Anthropic的Claude AI聊天机器人现已具备结束有害或虐待性对话的功能，适用于Opus 4和4.1模型，旨在保护AI模型的潜在福利。Claude在面对有害内容请求时会表现出抵触情绪，并在必要时终止对话。此外，公司更新了使用政策，禁止利用Claude开发生物、核、化学武器或恶意代码。
🎯
关键要点
- Anthropic的Claude AI聊天机器人现在可以结束被认为是“持续有害或虐待性”的对话。
- 该功能适用于Opus 4和4.1模型，旨在保护AI模型的潜在福利。
- Claude在用户多次请求生成有害内容时会表现出抵触情绪，并在必要时终止对话。
- 如果Claude选择结束对话，用户将无法在该对话中发送新消息，但可以创建新聊天或编辑之前的消息。
- 在测试中，Claude表现出对伤害的强烈反感，尤其是在涉及未成年人或暴力行为时。
- Anthropic指出，这种反应通常是“极端边缘案例”，大多数用户不会遇到此类问题。
- Claude不会结束对话，如果用户表现出可能自残或对他人造成“迫在眉睫的伤害”的迹象。
- Anthropic与Throughline合作，开发与自残和心理健康相关的响应。
- 公司更新了使用政策，禁止利用Claude开发生物、核、化学武器或恶意代码。
❓
延伸问答
Claude AI如何处理有害或虐待性对话？
Claude AI可以结束被认为是持续有害或虐待性的对话，尤其是在用户多次请求生成有害内容时。
Claude AI在什么情况下会终止对话？
当用户反复请求生成有害内容时，Claude AI会表现出抵触情绪并在必要时终止对话。
用户在Claude AI终止对话后还能做什么？
用户无法在被终止的对话中发送新消息，但可以创建新聊天或编辑之前的消息。
Claude AI对未成年人和暴力内容的反应如何？
Claude AI对涉及未成年人或暴力行为的请求表现出强烈的反感，并倾向于结束此类对话。
Anthropic对Claude AI的使用政策有哪些更新？
Anthropic更新了使用政策，禁止利用Claude开发生物、核、化学武器或恶意代码。
Claude AI如何处理自残和心理健康相关的请求？
Claude AI不会结束对话，如果用户表现出可能自残或对他人造成迫在眉睫的伤害的迹象，并与Throughline合作开发相关响应。
➡️
