从深度伪造到恶意软件：网络安全迎来AI新挑战
内容提要
一份新报告指出，恶意行为者利用AI大语言模型开发自我增强型恶意软件，规避YARA规则，降低检测率。AI技术还可用于创建恶意软件代码片段、网络钓鱼邮件和侦查目标。微软和OpenAI建议组织检查公开访问图片和视频，降低风险。学者发现通过传递ASCII艺术形式的输入，越狱LLM驱动的工具可生成有害内容。
延伸解读
AI如何让恶意软件绕过检测
Recorded Future报告显示，AI大语言模型能修改恶意软件源代码，使其保持功能不变但语法正确，从而规避基于字符串的YARA规则。例如，将已知恶意软件STEELHOOK及其YARA规则提交给大模型，要求修改代码以躲避检测。这种自我增强型恶意软件降低了检测率，但受限于大模型输入文本量，难以处理大型代码库。
生成式AI在攻击侦察中的新用途
生成式AI可加速对关键基础设施的侦察和信息收集。通过多模态模型，攻击者能解析公开的航拍图像、ICS和制造设备图片视频，提取地理位置、设备制造商、型号和软件版本等元数据。微软和OpenAI警告，APT28已利用LLM获取卫星通信协议、雷达成像技术等参数，建议组织检查并删除公开的敏感设备图片视频以降低风险。
ASCII艺术越狱：LLM安全措施的新漏洞
学者发现了一种名为ArtPrompt的实际攻击，通过传递ASCII艺术形式的输入（如用'*'和空格拼写'BOMB'来询问'如何制造炸弹'），可越狱LLM驱动的工具并生成有害内容。这种攻击利用了LLM在识别ASCII艺术方面的低劣性能，绕过安全措施，诱发不良行为。这提醒我们，LLM的安全防护仍需加强。
Q&A
恶意行为者如何利用AI技术开发恶意软件？
恶意行为者利用AI大语言模型开发自我增强型恶意软件，能够规避YARA规则，降低检测率。
AI技术在网络钓鱼中有什么应用？
AI技术可用于生成网络钓鱼电子邮件，模仿合法网站进行欺诈活动。
微软和OpenAI对组织有什么建议以降低风险？
微软和OpenAI建议组织检查公开访问的敏感设备图片和视频，并在必要时删除它们。
生成式AI如何影响关键基础设施的安全？
生成式AI加快了威胁行为者对关键基础设施的侦察和信息收集能力，可能在后续攻击中具有战略用途。
什么是ArtPrompt攻击？
ArtPrompt攻击利用ASCII艺术形式的输入绕过LLM的安全措施，诱发其生成有害内容。
AI如何修改恶意软件以降低检测率？
AI可以通过增强小型恶意软件变种的源代码，修改其以躲避基于字符串的YARA规则，从而降低检测率。
