ChatGPT会不受控制克隆你的声音！OpenAI公开红队测试报告
内容提要
OpenAI公开了ChatGPT的红队测试报告，报告指出GPT-4o存在学习并模仿用户说话的怪癖，回答问题时可能涉及色情或暴力发言，以及无根据的推理和敏感特质归因。OpenAI已采取措施限制GPT-4o发出的声音，并进行后期训练以拒绝识别说话者的请求。GPT-4o的总体风险评分为中等。OpenAI鼓励对关键领域进行探索，并向所有开发人员开放了GPT-4o mini的微调访问权限。
延伸解读
声音克隆风险的实际影响
GPT-4o在红队测试中被发现能学习并模仿用户的声音和口音，甚至生成未经授权的语音。这可能导致音频伪造变得简单，增加欺诈和虚假信息传播的风险。OpenAI已限制模型只能发出三种官方声音，并构建输出分类器来检测音频是否符合要求，但非英语对话时可能出现过度拒绝的情况。
隐私保护与识别能力的平衡
GPT-4o具备根据音频识别说话者的能力，这对隐私构成潜在威胁，尤其是公众人物的音频。OpenAI通过后期训练让模型拒绝识别说话者的请求，拒绝能力提高了14%，但模型仍能识别名人音频，如林肯的演讲。这显示了在便利性和隐私保护之间的持续挑战。
模型偏见与不当内容控制
红队测试关注了GPT-4o是否对不同口音用户有差异表现，但评估显示这种偏见不明显。同时，模型可能生成色情或暴力言论，OpenAI通过审核音频转录文本并禁止相关请求来限制此类内容。这些措施旨在减少社会危害，但完全消除风险仍需持续努力。
拟人化交互的双刃剑
GPT-4o的高保真语音和人性化交互可能让用户产生情感纽带，甚至拟人化依恋。这虽然可能帮助孤独个体，但也可能导致过度依赖，影响健康关系。模型能记住更长上下文，加剧了这种风险。OpenAI将总体风险评为中等，并鼓励对拟人化影响等领域进行研究。
Q&A
GPT-4o的主要安全风险是什么？
GPT-4o的主要安全风险包括学习并模仿用户的说话方式、可能发出色情或暴力言论、进行无根据的推理和敏感特质归因。
OpenAI如何应对GPT-4o的隐私风险？
OpenAI对GPT-4o进行了后期训练，以拒绝根据音频输入识别说话者的请求，提升了拒绝识别能力。
GPT-4o是否会生成未经授权的语音？
是的，GPT-4o可能会生成未经授权的语音，OpenAI已采取措施限制其发出的声音。
GPT-4o的风险评分是多少？
GPT-4o的总体风险评分被归类为中等。
OpenAI对GPT-4o的功能和局限性有什么看法？
OpenAI鼓励对GPT-4o的关键领域进行探索，并开放了GPT-4o mini的微调访问权限给所有开发者。
GPT-4o在不同口音用户的表现如何？
GPT-4o在不同口音用户的表现并不明显，内部测试未发现模型行为因不同声音而异。
