Sora引发安全新挑战，视频还能相信吗？
内容提要
OpenAI推出了人工智能视频生成模型Sora，引发全球热议。Sora使用Transformer架构生成高清视频，但也引发了对深度伪造视频的担忧。各国政府开始关注深度伪造对社会稳定和选举结果的影响，并加强信息安全监管措施。
延伸解读
Sora对影视行业的即时冲击
Sora发布仅两天，Adobe股价下跌超过7%，反映出市场对AI视频生成工具可能颠覆传统视频制作软件的担忧。影视从业人员开始担心职业前景，因为Sora能根据文本生成高清视频，降低视频创作门槛。这种冲击不仅限于工具层面，还可能改变内容生产流程和商业模式，促使行业重新思考人类创意与AI协作的边界。
深度伪造的认知紊乱与信任危机
文章指出，深度伪造视频已接近真假难辨的程度，可能扰乱公众对视频真实性的判断。例如，威尔·史密斯吃意大利面的AI视频被误认为真实，而实际由本人拍摄，凸显认知紊乱。这种紊乱可能被滥用于造假、欺骗，甚至颠覆对现实的认知，引发社会信任危机，损害各行各业。
Sora的安全挑战与治理困境
Sora面临数据安全和滥用风险。OpenAI未透露训练视频的具体来源，引发合规担忧。尽管OpenAI计划采取安全措施和红队测试，但承认无法预测所有滥用方式。隐形水印等溯源技术效果尚不确定，经过二次加工后可能失效。这些挑战表明，技术治理需要多方协作，平衡创新与风险。
全球监管加速与行业应对
Sora的推出加速了全球信息安全监管。欧盟已批准《人工智能法案》，禁止不可接受风险的AI系统，预计2026年生效。美国也因假拜登来电等事件深感忧虑，强调设置安全护栏。OpenAI表示将与政策制定者合作，确定积极使用案例。行业需积极应对变革，明确哪些能做、哪些不能做。
Q&A
Sora是什么？它有哪些主要功能？
Sora是OpenAI于2024年2月推出的人工智能视频生成模型，使用Transformer架构，可根据文本指令创建近似现实且富有想象力的场景，生成多种风格、不同画幅、最长一分钟的高清视频。它还能根据静态图像生成视频，或对现有视频进行扩展或填充缺失的帧。
Sora的出现可能带来哪些安全风险？
Sora可能加剧深度伪造问题，导致虚假视频泛滥，扰乱大众对视频真实性的判断，引发信任危机。深度伪造技术可能被滥用于网络犯罪，如诈骗、身份冒充，还可能被用于制造虚假音视频以操纵公众舆论和选举结果。此外，Sora抓取互联网视频训练，数据安全与合规性也是挑战。
深度伪造技术已经被用于哪些实际犯罪？
文章提到，在Sora诞生前夕，中国香港发生了一起利用AI深度伪造实施的诈骗案。某跨国公司香港分行职员收到假冒英国总部首席财务官的信息，并参与多人视频会议，由于对方显示与现实相同的样貌，该职员信以为真，前后转账15次，共计2亿港元，直到5天后才发现被骗。诈骗者通过公开视频和媒体资料仿造了高层管理人员的形象和声音。
各国政府如何应对深度伪造和AI安全风险？
各国政府开始关注深度伪造对社会稳定和选举结果的影响，并加速信息安全监管措施。例如，欧盟各国政府已批准《欧盟人工智能法案》，该法案将禁止使用存在“不可接受风险”的AI系统，如使用生物识别数据推断公众敏感特征的系统。欧洲议会预计于4月签署，若顺利将于2026年生效。美国方面也对此表示忧虑，认为政府需设置安全屏障和护栏。
OpenAI采取了哪些措施来防止Sora被滥用？
OpenAI表示在正式开放Sora使用前会采取几个重要的安全措施，防止其生成极端暴力、色情、仇恨以及有害的涉政内容。还将进行专项“红队”攻击测试，招募错误信息、仇恨内容和偏见等领域的专家进行对抗性测试，以评估Sora被滥用的可能性。但OpenAI也承认，无法预测人们使用Sora的所有有益方式，也无法预测人们滥用技术的所有方式。
如何识别AI生成的视频内容？
有网络技术人员建议，以隐形水印的形式在视频图像中嵌入不可见的水印保护信息，以快速识别AI合成内容并进行溯源。但这种做法在应对将视频重新编码、模糊，或者经过多重转载损失一定画质，以及对视频进行二次加工处理后是否依然能够有效识别，目前还不得而知。
