内容提要
该案例研究来自OpenAI 2024年10月报告,描述了一个X账号伪装成俄罗斯机器人,发布虚假的GPT-4o错误信息,意图引发争议。调查发现该帖子是人为制造的骗局,但账号早期评论由AI生成。该骗局迅速传播,但未获主流媒体广泛报道,属于第三级影响。
延伸解读
骗局为何能迅速传播
该骗局之所以能迅速传播,是因为它迎合了公众对俄罗斯网络水军的刻板印象——既神秘又笨拙。帖子中看似来自俄罗斯用户的JSON错误信息,恰好符合这种预期,因此被大量转发和讨论。这表明,在信息传播中,符合既有认知的虚假内容往往比事实更具吸引力。
AI生成内容与人工制造的区分
调查发现,该账号早期评论确实由AI生成,但关键的JSON错误信息却是人工制造的,且并非有效JSON。这提醒我们,在评估AI相关事件时,需仔细辨别哪些内容真正由AI生成,哪些是人为伪造。错误引用模型名称和无效代码是识别伪造的关键线索。
影响评估与主流媒体角色
该骗局在社交媒体上获得大量传播,但未获主流媒体广泛报道,因此被归类为第三级影响。这显示了社交媒体放大虚假信息的能力,同时也凸显了主流媒体在遏制虚假信息传播中的关键作用。若主流媒体介入,影响可能升级至第四级。
Q&A
OpenAI在2024年10月报告中披露的虚假俄罗斯水军事件是什么?
该事件是一个X账号伪装成俄罗斯机器人,发布虚假的GPT-4o错误信息,意图引发争议。OpenAI调查发现该帖子是人为制造的骗局,并非由AI生成,但该账号早期评论确实由AI生成。
OpenAI如何判断那个X帖子是骗局?
OpenAI调查发现该帖子声称是来自俄罗斯用户的JSON错误信息,但其中的JSON代码无效,且错误引用了模型名称,因此不可能由他们的模型生成,而是人为制造的。
这个虚假俄罗斯水军账号的早期评论是如何生成的?
该账号早期评论是由OpenAI的模型生成的,用于回复其他X用户的帖子,内容多为对抗性评论,涉及幻想游戏、摩托车、地球是否平坦等话题,主要被指示要具有争论性。
这个骗局的影响有多大?
该骗局在社交媒体上迅速传播,相关推文获得数千次转发,并在LinkedIn、Reddit等平台引发讨论,还导致多家媒体询问,但未获主流媒体广泛报道,因此属于Breakout Scale的第三级上限,接近第四级。
OpenAI对这个事件采取了什么行动?
OpenAI在进一步调查后封禁了相关的OpenAI账户,公开报道显示该X账号也被暂停。
这个骗局反映了什么社会现象?
该骗局反映了社交媒体能迅速放大吸引人的骗局,同时也表明人们对俄罗斯影响行动的看法已从神秘转向怀疑,认为其能力可能并不高明。