OpenAI希望阻止深度伪造内容淹没儿童虐待举报热线

OpenAI希望阻止深度伪造内容淹没儿童虐待举报热线

💡 原文英文,约1200词,阅读约需5分钟。
📝

内容提要

OpenAI推出新分类器,可更准确识别儿童性虐待材料(包括AI生成图像),误报减少48%,识别准确率提高一倍,并向审核机构免费开放。因AI生成内容激增,NCMEC举报量从2024年6.7万增至2025年40万。ChatGPT对试图生成此类内容的用户首次违规暂停24小时并提示求助,所有案例上报NCMEC。

🔎

延伸解读

举报量激增背后的审核压力

文章指出,NCMEC的CyberTipline在2025年收到40万份与生成式AI相关的举报,而2024年仅为6.7万,增长近六倍。研究人员警告,这种涌入可能使NCMEC的工作量“难以管理”。北卡罗来纳州总检察长杰夫·杰克逊更直言,若趋势持续,“我们将无法完成使命”。这凸显了AI生成内容对现有举报处理体系的冲击,以及技术工具介入的紧迫性。

分类器的实际效果与局限

OpenAI称新分类器将误报图像减少了48%,同时识别出的图像中包含虐待材料的可能性提高了一倍,并能标记AI生成内容。这是首个广泛可用、带有AI生成标记的CSAM分类器。但文章也提到,该工具仍依赖人工复核,且AI生成的CSAM在法律认定和危害评估上存在争议。Buckley强调,法律应承认AI生成CSAM的危害,因为它可能侵蚀社会规范,并常与真实儿童虐待图像并存。

ChatGPT的干预机制与争议

对于试图生成CSAM的用户,ChatGPT首次违规会暂停访问24小时,并显示警告和求助资源,同时所有案例上报NCMEC。OpenAI称这一设计基于专家建议和国际证据,旨在中断有害行为并引导寻求帮助。然而,八州已因其他儿童相关危害起诉OpenAI,显示科技公司与执法机构合作预防的模式仍处于“实验”阶段,其有效性和伦理边界有待观察。

❓

Q&A

OpenAI新推出的分类器在识别儿童性虐待材料方面有什么改进?

该分类器能更准确地识别儿童性虐待材料(包括AI生成的图像),误报减少了48%,识别准确率提高了一倍。

NCMEC举报热线收到的AI相关儿童性虐待材料报告数量增长有多快?

NCMEC CyberTipline在2025年收到40万份生成式AI相关报告,相比2024年的6.7万份呈指数级增长。

如果用户试图用ChatGPT生成儿童性虐待内容,会面临什么后果?

首次违规将触发24小时暂停访问ChatGPT,并警告账户可能被永久关闭,同时提供求助资源。所有案例都会上报给NCMEC。

OpenAI的分类器如何区分AI生成的虚构儿童图像和真实儿童图像?

该分类器是首个广泛可用且带有AI生成材料特定标记的CSAM分类器,能帮助行业理解图像中可能包含虚构儿童还是真实儿童,这对执法报告流程中的分类至关重要。

OpenAI向哪些机构免费提供这个分类器?

OpenAI向经过审核的组织免费提供该分类器的访问权限,并帮助培训执法部门如何利用AI辅助调查。

为什么AI生成的儿童性虐待材料会增加执法难度?

大量虚假图像涌入使得调查人员更难辨别儿童是否正在遭受实际伤害,可能淹没举报系统,导致NCMEC工作量“无法管理”。

🏷️

标签

➡️

继续阅读