ChatGPT将加强暴力内容限制 若用户反复出现危险对话则可能会被封号
内容提要
OpenAI宣布未来几周加强ChatGPT对暴力内容的限制：当用户持续关注暴力或严重伤害他人时，ChatGPT可主动结束对话，多次违规账号可能被封禁。模型将限制回答大规模袭击事件及实施者细节，包括武器装备、获取方式及伤害规模比较，适用于所有用户。对未满18岁用户，还将限制武器和安全系统的实用信息，并改进年龄预测机制，误判时可提交身份验证。
延伸解读
限制范围不区分用户年龄与提问目的
新措施对涉及过去大规模袭击事件及实施者的细节限制适用于所有用户，不区分年龄段或提问目的。这意味着成年用户查询此类内容时也可能被缩减回答或拒绝。限制具体包括重现袭击中的武器、装备及获取方式，以及可能扩大袭击者知名度的伤害规模比较。这种统一处理方式简化了执行，但也可能影响研究或教育用途的查询。
青少年保护扩展至无暴力意图的武器信息
对于被识别为未满18周岁的用户，OpenAI将限制可能被用于实施暴力的武器和安全系统的实用信息，即使问题表面没有暴力意图也会受限。同时，青少年仍可寻求预防或缓和暴力的帮助，以及联系可信赖成年人的建议。这显示保护措施在阻断潜在危险信息的同时，保留了求助渠道。
年龄预测机制与误判验证流程
改进后的年龄预测机制会结合用户行为等多种信号，持续评估账号是否可能属于未成年人，并自动应用相应保护。如果用户被误判为未成年人，可以主动提交身份信息进行验证。这一机制旨在动态识别未成年用户，但行为信号预测可能带来误判风险，身份验证成为纠错途径。
Q&A
ChatGPT 对暴力内容的新限制具体包括哪些措施？
OpenAI 宣布将在未来几周内加强 ChatGPT 对暴力内容的限制。当对话显示用户持续关注暴力或严重伤害他人的想法时，ChatGPT 可以主动结束对话；若用户多次因此类问题被结束对话，账号可能被封禁。此外，模型将限制回答有关过去大规模袭击事件及实施者细节的问题，包括武器、装备及获取方式，以及伤害规模的详细比较。这些限制适用于所有用户。
为什么 ChatGPT 要限制关于大规模袭击事件的回答？
ChatGPT 原有政策已禁止提供策划或实施暴力行为的指导，此次调整进一步限制模型在回答过去大规模袭击事件及实施者问题时提供的细节，包括重现袭击过程中涉及的武器、装备及获取方式，并限制用户查询可能扩大袭击者知名度的伤害规模详细比较。目的是从安全层面缩减内容甚至拒绝回答，以降低暴力内容被滥用的风险。
这些暴力内容限制是否只针对未成年用户？
不是。对暴力内容的限制适用于所有用户，不区分用户年龄段或提问目的，因此成年用户也会面临相同的限制。此外，OpenAI 对未满 18 周岁的用户还有额外保护，包括限制可能被用于实施暴力的武器和安全系统的实用信息，即使问题表面上没有显示暴力意图。
ChatGPT 如何识别未成年用户并实施保护？
OpenAI 改进了年龄预测机制，结合用户行为等多种信号持续评估账号是否可能属于未成年人，并在适当情况下自动应用适用于未满 18 周岁用户的相关保护措施。如果用户被误判为未成年人，可以主动提交身份信息进行验证。
未成年用户在使用 ChatGPT 时还能获得哪些帮助？
尽管对未成年用户增加了武器和安全系统信息的限制，他们仍然可以使用 ChatGPT 寻求帮助，了解如何预防或缓和暴力，以及如何与可信赖的成年人取得联系。
如果用户反复咨询暴力内容会有什么后果？
如果用户持续关注暴力或严重伤害他人的内容，ChatGPT 可以主动结束对话。若用户反复咨询此类内容并多次被 ChatGPT 自动结束对话，其账号甚至可能会被封禁。
