内容提要
OpenAI于2025年10月报告,封禁了疑似与俄语犯罪团伙相关的ChatGPT账户,这些账户试图利用模型开发恶意软件,如远程访问木马和凭证窃取工具。模型拒绝了直接恶意请求,但攻击者通过诱导生成构建代码,如shellcode转换和浏览器凭证解析,用于开发攻击工具。OpenAI已禁用相关账户,并评估模型未提供超出公开资源的新能力。
延伸解读
模型拒绝与诱导式利用
OpenAI 报告显示,模型会直接拒绝恶意请求,但攻击者通过拆分任务、诱导生成构建模块代码(如 shellcode 转换、内存加载器、浏览器凭证解析)来绕过限制。这些代码本身并非恶意,但可被组合成攻击工具。这表明,单纯依赖模型拒绝机制不足以完全阻止恶意利用,需要结合行为监测和账户封禁。
攻击者技术特征
该俄语攻击者混合使用高、低复杂度请求:部分涉及深度 Windows 平台知识(如 PE/Win32 API、DPAPI/AES GCM 处理),部分为自动化任务(如批量密码生成)。他们使用少量账户并在对话中迭代代码,显示持续开发而非偶然测试。这种模式提示防御方需关注长期、迭代式的 AI 滥用行为。
能力评估与风险
OpenAI 评估认为,模型未提供超出公开资源的新能力,攻击者可能从其他渠道获得类似技术。然而,模型降低了开发门槛,使攻击者能更快原型化和调试恶意组件。尽管影响有限,但 AI 辅助恶意开发仍可能加速攻击工具的演进,需持续监控和共享威胁指标。
Q&A
OpenAI在2025年10月封禁了哪些类型的ChatGPT账户?
OpenAI封禁了疑似与俄语犯罪团伙相关的ChatGPT账户,这些账户试图利用模型开发恶意软件,包括远程访问木马、凭证窃取工具和逃避检测的功能。
俄语威胁行为者如何使用ChatGPT来开发恶意软件?
他们通过诱导模型生成构建代码,如将编译的可执行文件转换为shellcode、设计内存加载器、解析浏览器凭证等,然后组装成恶意工作流。模型拒绝了直接恶意请求,但攻击者利用合法代码片段进行开发。
OpenAI的模型在哪些方面拒绝了恶意请求?
模型拒绝了直接生成恶意内容的请求,例如直接请求开发漏洞利用工具或键盘记录器。但攻击者通过请求构建模块代码来绕过限制。
俄语威胁行为者使用ChatGPT开发了哪些具体工具?
他们开发了内存执行和shellcode加载器、UAC/SmartScreen/网络标记绕过、浏览器凭证/ cookie提取和应用程序绑定解密脚手架、LevelDB钱包解析和剪贴板劫持/替换工具,以及远程访问木马组件(包括视频和输入模拟)。
OpenAI评估模型是否提供了新的能力?
OpenAI评估认为,模型没有为这些行为者提供超出公开资源的新能力或方向。
OpenAI采取了哪些应对措施?
OpenAI禁用了所有与此活动相关的账户,并与行业合作伙伴共享了相关指标。