人工智能在网络安全中发挥着关键作用，能够自动化防御和修复漏洞。新框架评估AI的攻击能力，涵盖网络攻击链的各个阶段，帮助专家识别必要的防御措施。通过分析12000次真实攻击，识别出七种典型攻击类型，并制定50项挑战以评估AI模型的网络安全能力，旨在帮助防御者应对AI驱动的网络攻击风险。

多个国家的黑客组织利用谷歌AI助手Gemini提升工作效率，进行侦察和攻击准备。伊朗、朝鲜和俄罗斯的APT组织在不同阶段使用Gemini研究漏洞和开发恶意软件。谷歌发现这些组织试图绕过安全措施，但未成功。AI工具的滥用问题日益严重，部分模型缺乏保护，易被恶意利用。

通过删除稳健特征，我们发现了一种名为“自然去噪扩散攻击”的新型攻击。我们构建了大规模数据集评估文本-图像扩散模型的攻击能力，并证实了攻击的有效性。非稳健特征对于自然攻击能力起到了贡献作用。我们对一辆自动驾驶汽车进行了攻击，发现物理打印的攻击能够被识别为停止标志。希望我们的研究和数据集能够提高社区对扩散模型风险的认识，并推动深度神经网络模型的研究。