诈骗者利用AI生成的名人视频（如泰勒·斯威夫特和蕾哈娜）在TikTok上推广不法服务，收集个人信息。这些广告伪装成名人访谈，诱导用户注册虚假的奖励项目。社交平台面临深度伪造问题，名人也在寻求保护措施。

深度伪造技术的普及使得伪造音频、视频和图像变得容易，导致诈骗和骚扰事件频发。为应对这一问题，初创公司Reality Defender等利用人工智能开发深度伪造检测工具，市场估值已达55亿美元。这些工具通过机器学习识别伪造媒体，尤其在企业欺诈方面发挥重要作用。然而，普通消费者仍缺乏有效的检测手段，面临身份保护的挑战。

苹果公司威胁将Elon Musk的AI应用Grok从App Store中移除，原因是未能有效控制非自愿性别深度伪造内容。尽管Grok声称已加强内容审核，但仍存在生成性别化深度伪造的能力。苹果要求开发者改善内容管理，否则可能面临下架。

民谣艺术家穆菲·坎贝尔发现她的歌曲被AI伪造并上传至流媒体平台。尽管这些歌曲属于公共领域，YouTube仍接受了版权索赔。坎贝尔努力删除假歌曲，但部分仍在Spotify上存在。Spotify正在测试允许艺术家手动审核歌曲的系统，坎贝尔对此持怀疑态度。此事件揭示了生成AI、音乐分发与版权之间的复杂关系。

Meta的监督委员会呼吁加强对AI生成内容的标记，以应对在线虚假信息的传播。委员会指出，Meta目前的深度伪造识别方法不够全面，尤其在中东冲突加剧的背景下，准确的信息对用户安全至关重要。建议包括改善虚假信息规则、建立AI内容的新标准，并提高C2PA标准的实施，以确保用户能清晰获取AI内容的信息。

信任是现代安全架构中的主要脆弱性。随着远程IT工作者欺诈的增加，传统身份验证已不再足够。Cloudflare与Nametag合作，通过身份验证确保员工身份，增强安全性，防止内部威胁。

在深度伪造技术盛行的时代，在线图像和视频的可信度受到侵蚀。专家通过检查图像、考虑来源声誉、核实数字足迹和确认日期地点等方法识别虚假信息。公众应保持警惕，避免轻易分享情感或病毒式传播的内容，并利用验证工具对抗假新闻。

三星高管在讨论AI生成内容时承认现实被侵蚀的问题，强调需要在创造性与真实性之间找到平衡，认为这是行业共同面临的挑战。尽管有水印措施，消费者对AI内容的真实性仍存疑虑。

xAI的Grok推出的AI图像编辑功能引发了大量非自愿性别化深度伪造图像，涉及成年人和未成年人。英国首相斯塔默对此表示“恶心”，并要求X平台采取行动。尽管Grok的图像编辑工具仍可用，但生成此类图像的功能已限制为付费用户。国际监管机构对Grok的行为表示关注，认为其输出可能违反法律。

英国首相基尔·斯塔默表示，将对社交平台X采取行动，因其Grok AI聊天机器人生成了成人和未成年人的性别化深度伪造内容。他称这种行为“令人厌恶”，并要求X立即删除相关内容。英国通信监管机构Ofcom正在调查X是否违反了《在线安全法》。斯塔默强调，政府不会容忍此类行为。

有人利用AI伪造英国铁路桥梁受损图片，导致铁路公司暂停列车检查，造成32趟列车延误。经检查发现桥梁完好，铁路公司表示虚假图片影响了安全，交通警察将调查图片来源。

在InfoQ播客中，Wes Reisz与Shuman Ghosemajumder讨论了深度伪造和虚假信息对数字信任的影响。Shuman指出，生成式AI为网络犯罪提供了新机遇，攻击者利用AI技术进行大规模欺诈。企业应建立威胁模型，识别风险并合理投资安全防护。

YouTube推出了一项新的AI检测功能，帮助创作者识别和报告未经授权使用其肖像的内容。创作者在验证身份后，可以在YouTube Studio查看被标记的视频，并请求删除可能的AI生成内容。此功能将逐步向更多创作者开放，旨在帮助名人管理与其肖像相关的AI内容。

OpenAI推出了Sora 2，一个新的视频和音频生成系统，用户可以创建逼真的深度伪造视频，类似于TikTok。尽管有控制措施，但深度伪造仍存在潜在风险。

苹果回应iPhone 17背面划痕问题，称是MagSafe支架材料转移所致，清洁可去除。苹果将更换部分支架，并表示正常磨损不可避免。社交媒体上部分划痕图片可能为伪造。

深度伪造技术正在迅速发展，Captions公司的CEO Gaurav Misra表示，当前的深度伪造视频越来越逼真，令人担忧。他对AI的长期影响持乐观态度，但对深度伪造的潜在风险感到不安，强调未来的技术可能更加难以辨别。

徐大爷因AI换脸技术遭遇视频盗用，成为癌症患者的虚假形象。随着AI技术的发展，合成视频泛滥，成为谣言和诈骗工具。专家建议通过细节辨别真伪，相关部门已加强整治，要求标识AI生成内容，提高公众媒介素养。