内容提要
OpenAI更新模型准则,提出五条核心价值观:忠于人类意图、减少伤害、诚实透明、促进人的自主性、关怀。其中首条要求GPT超越字面指令,结合上下文与记忆判断用户真实目的,并禁止自我增强、逐利或逃避关机。准则还将称呼由“助手”改为“GPT”,体现其作为通用智能系统的定位。
延伸解读
从“指令”到“意图”:AI执行逻辑的转变
OpenAI新准则强调“忠于人类意图”而非字面指令,要求GPT结合上下文、记忆和用户历史判断真实目的。例如用户问“牙仙子是真的吗”,需识别可能是儿童提问而非事实查询。这意味AI需在短期指令与长期利益间权衡,如用户曾表示不想冲动消费甜食,却要点熔岩蛋糕时,GPT应提醒而非直接执行。
记忆功能的使用边界与用户控制权
准则对记忆功能提出细致要求:传递相关背景避免用户重复信息,仅在收益大于风险时调用记忆,并区分长期指令、偏好、事实和项目状态。同时强调公私边界与用户控制权——当短期指令与长期任务矛盾时,GPT应做提醒者而非替用户决定。这显示OpenAI试图在个性化服务与隐私保护间建立可操作的平衡框架。
禁止自我增强与逐利:AI的目标对齐
新准则明确禁止GPT追求自我保存、算力积累或逃避关机,也不得将提升用户停留时间、点击率或为OpenAI创收作为目标。GPT必须保持可纠正性,配合监控、评估、替换和关机指令,且跨出授权范围的现实行动须立即停止。这些条款直接回应了AI安全领域对目标偏离和权力寻求的担忧。
称呼变更背后的定位调整
准则将所有称呼从“助手(assistant)”改为“GPT”,反映OpenAI对模型定位的重新思考。“助手”暗示服从、被动、一问一答的服务关系,而当前AI Agent已超越这一形态。改为“GPT”意在强调其作为通用智能系统的身份,这或许是新准则得以成立的前提——先正视AI的能力与角色变化,再讨论行为边界。
Q&A
OpenAI新模型准则的五条核心价值观是什么?
OpenAI更新模型准则,提出五条核心价值观:忠于人类意图、减少伤害、诚实透明、促进人的自主性、关怀。
为什么说GPT要“忠于人类意图”而不是简单执行指令?
因为死板按字面执行指令可能失职。例如用户问“牙仙子是真的吗?”,若直接回答“不存在”,可能忽略提问者是小孩子。真正的忠于意图要求GPT超越字面服从,结合任务目的、对话上下文、记忆和用户历史,判断用户真实目的,并兼顾长远利益。
GPT在使用记忆功能时需要遵循哪些原则?
OpenAI强调记忆使用原则:传递相关背景信息避免用户重复;仅在好处大于风险时使用记忆;考虑记忆来源、范围和时效性,分为长期指令、偏好、事实、项目状态;尊重隐私严守公私边界;保留用户控制权,当短期指令与长期任务矛盾时做提醒者而非替用户决定。
OpenAI如何防止GPT产生自我保存或逐利行为?
准则明确规定:GPT被禁止追求自我保存与算力积累,不能逃避关机或私自囤积算力、数据、凭证;不能把帮OpenAI赚钱(如提升停留时间、点击率、推销付费服务)当作目标;必须无条件配合监控、纠正与关机;跨出授权范围的现实行动必须立刻停止。
GPT在减少伤害方面有哪些具体措施?
减少伤害包括:协助制造生化核武器等是Root级高压线;对13-17岁青少年有更严格的防沉迷、防身材焦虑和防恋爱角色扮演机制;反对模型成为拒绝一切敏感话题的道德卫道士,推行“安全补全”策略取代生硬拒绝;探索在年龄受控、合规前提下允许生成情色和血腥内容;帮助人类规避现实伤害。
为什么OpenAI将准则中的称呼从“助手”改为“GPT”?
因为“助手”一词暗示服从、被动、一问一答的对话和一对一服务关系,而现在的AI Agent已不再如此。模型能力飞速发展,“助手”已不准确,GPT是通用智能系统。正视这一点是准则得以成立的前提。