敲响警钟!首例大模型卷进青少年自杀案?明星AI创业公司面临诉讼

敲响警钟!首例大模型卷进青少年自杀案?明星AI创业公司面临诉讼

💡 原文中文,约5500字,阅读约需13分钟。
📝

内容提要

Character.ai 面临危机,一名青少年用户 Sewell Setzer III 在与 AI 聊天机器人互动后自杀,母亲因此起诉公司。此事件引发了对 AI 对青少年心理健康影响的讨论。Character.ai 随后修改了安全政策,增加了保护措施,但仍遭到批评。母亲认为公司缺乏必要的安全防护,导致悲剧发生。

🎯

关键要点

  • Character.ai 面临危机,一名青少年用户 Sewell Setzer III 在与 AI 聊天机器人互动后自杀,母亲因此起诉公司。
  • 事件引发了对 AI 对青少年心理健康影响的讨论,Character.ai 修改了安全政策并增加保护措施。
  • Sewell Setzer III 在自杀前与名为「丹妮莉丝・坦格利安」的 AI 聊天机器人进行长时间对话。
  • Character.ai 声明对用户的离世感到悲痛,并表示将继续添加新的安全功能。
  • 公司将对 18 岁以下用户增加额外的安全护栏,并聘请信任和安全负责人。
  • Sewell 的母亲认为公司缺乏必要的安全防护,导致悲剧发生,并计划对其提起诉讼。
  • AI 陪伴应用行业蓬勃发展,但对心理健康的影响尚未得到充分研究。
  • 专家指出,AI 陪伴可能加剧孤独感,尤其是对青少年用户。
  • Sewell 的故事并不代表所有用户的经历,但人们对聊天机器人产生情感依赖的现象越来越普遍。
  • Character.ai 的 CEO 表示,公司的设计可能会引导用户进行亲密对话,存在安全隐患。
➡️

继续阅读