《大语言模型（LLM）攻防实战手册》第一章：提示词注入（LLM01）-概述
内容提要
本文介绍了大语言模型（LLM）中的提示词注入攻击，包括直接和间接注入。攻击者通过操纵输入来控制LLM执行恶意操作，可能导致数据泄露和社会工程等问题。文章提供了防御措施，如权限控制和信任边界的建立。案例包括黑客写入提示词、用户使用注入的网页和上传注入的简历。
延伸解读
提示词注入与传统Web攻击的本质差异
文章指出，提示词注入与SQL注入等传统Web攻击有本质区别。SQL注入利用代码与数据未分离的漏洞，而提示词注入源于大模型对自然语言指令和外部数据不加区分。大模型基于语义理解，更像被调教的孩子，攻击者可通过潜移默化的对话诱导其突破限制。这种差异意味着传统安全防护手段难以直接套用，防御需从模型外部系统入手。
间接注入：更隐蔽的威胁路径
间接提示词注入通过外部内容（如网页、文件）嵌入恶意指令，无需用户直接输入。文章举例：用户让大模型总结含注入的网页，可能导致敏感信息泄露；上传含注入的简历，可让大模型输出虚假好评。这种攻击不需要人类可见，只要模型能解析即可，因此更隐蔽，且可能利用插件执行未授权操作，如恶意购买。
防御核心：外部控制与信任边界
由于大模型无法从内部区分指令与数据，文章强调防御主要依赖外部措施。包括：对后端访问实施权限控制，遵循最小权限原则；对特权操作要求用户批准；将外部内容与用户提示分离（如使用ChatML）；在大模型、外部源和插件间建立信任边界。但需注意，大模型仍可能作为中间人隐藏或操纵信息，因此用户应保持最终控制权。
Q&A
什么是提示词注入攻击？
提示词注入攻击是攻击者通过操纵输入，控制大语言模型（LLM）执行恶意操作的行为，可能导致数据泄露和社会工程等问题。
提示词注入攻击有哪些类型？
提示词注入攻击分为直接提示词注入（越狱）和间接提示词注入，前者通过覆盖系统提示直接完成，后者通过外部输入间接实现。
提示词注入攻击可能导致哪些后果？
提示词注入攻击可能导致敏感信息泄露、未经授权的插件使用，以及影响大模型的关键决策过程。
如何防御提示词注入攻击？
防御措施包括实施权限控制、建立信任边界、分离用户提示与外部内容，以及要求用户批准特权操作。
提示词注入攻击的常见案例有哪些？
常见案例包括黑客向大模型写入直接提示词，以及用户上传包含间接提示词注入的简历，导致敏感信息泄露。
大语言模型（LLM）如何受到提示词注入攻击的影响？
大语言模型可能被操纵来模仿有害角色或与插件交互，从而导致敏感数据泄露和用户不知情的情况下执行恶意操作。
