《大语言模型（LLM）攻防实战手册》第一章：提示词注入（LLM01）-概述
💡
原文中文，约3200字，阅读约需8分钟。
📝
内容提要
本文介绍了大语言模型（LLM）中的提示词注入攻击，包括直接和间接注入。攻击者通过操纵输入来控制LLM执行恶意操作，可能导致数据泄露和社会工程等问题。文章提供了防御措施，如权限控制和信任边界的建立。案例包括黑客写入提示词、用户使用注入的网页和上传注入的简历。
🎯
关键要点
- 大语言模型（LLM）存在提示词注入攻击，包括直接和间接注入。
- 攻击者通过操纵输入控制LLM执行恶意操作，可能导致数据泄露和社会工程等问题。
- 提示词注入分为直接提示词注入（越狱）和间接提示词注入，后者通过外部输入实现。
- 提示词注入攻击可能导致敏感信息泄露和未经授权的插件使用。
- 防御措施包括权限控制、信任边界的建立和用户批准特权操作。
- 常见攻击案例包括黑客写入提示词和用户上传包含注入的简历。
- 大模型的防御措施主要依赖于外部系统，而非模型本身。
❓
延伸问答
什么是提示词注入攻击？
提示词注入攻击是攻击者通过操纵输入，控制大语言模型（LLM）执行恶意操作的行为，可能导致数据泄露和社会工程等问题。
提示词注入攻击有哪些类型？
提示词注入攻击分为直接提示词注入（越狱）和间接提示词注入，前者通过覆盖系统提示直接完成，后者通过外部输入间接实现。
提示词注入攻击可能导致哪些后果？
提示词注入攻击可能导致敏感信息泄露、未经授权的插件使用，以及影响大模型的关键决策过程。
如何防御提示词注入攻击？
防御措施包括实施权限控制、建立信任边界、分离用户提示与外部内容，以及要求用户批准特权操作。
提示词注入攻击的常见案例有哪些？
常见案例包括黑客向大模型写入直接提示词，以及用户上传包含间接提示词注入的简历，导致敏感信息泄露。
大语言模型（LLM）如何受到提示词注入攻击的影响？
大语言模型可能被操纵来模仿有害角色或与插件交互，从而导致敏感数据泄露和用户不知情的情况下执行恶意操作。
➡️
