Agent安全杂谈
💡
原文中文，约5600字，阅读约需14分钟。
📝
内容提要
随着ChatGPT的崛起，LLM进入了Agentic LLM时代，2025年被称为agent元年。agent是能够自主执行任务的系统，结合内部思维与外部行为。LLM agent由模型、工具和提示三部分组成，但面临输入污染和工具滥用等安全风险，需要通过多层防护来确保安全。
🎯
关键要点
- 随着ChatGPT的崛起，LLM进入了Agentic LLM时代，2025年被称为agent元年。
- agent是能够自主执行任务的系统，结合内部思维与外部行为。
- LLM agent由模型、工具和提示三部分组成，面临输入污染和工具滥用等安全风险。
- agent的概念源于对人工智能实现方向的探讨，强调内部思维和外部行为的双重属性。
- LLM agent的基本架构包括模型、工具和提示，实际开发中还需考虑知识库和工作流组件。
- 智能体应用开发有多种框架可供选择，如LangChain和Dify。
- 新技术的出现带来了新的安全风险，LLM的集成改变了系统的交互方式和工作流程。
- agent应用的安全风险包括输入污染、工具滥用、知识库泄露等新型威胁。
- 数据流经agent系统的各个环节可能面临安全风险，包括输入接收、意图理解、任务规划等。
- 针对用户输入的防护措施包括规则特征库过滤和防御性提示设计。
- 安全对齐是确保AI系统行为与人类价值观一致的核心概念。
- 知识库和MCP的安全防护需关注数据安全和权限控制。
- LLM技术已进入自主决策时代，安全防护需践行纵深防御和零信任架构。
❓
延伸问答
什么是Agent及其主要功能？
Agent是能够自主执行任务的系统，结合内部思维与外部行为，通过感知环境、规划决策和执行操作实现智能化任务处理。
LLM Agent的基本架构包括哪些部分？
LLM Agent的基本架构包括模型、工具和提示三部分，此外还需考虑知识库和工作流组件。
Agent应用面临哪些安全风险？
Agent应用面临输入污染、工具滥用、知识库泄露等新型安全风险，可能导致全链路攻击。
如何确保Agent的安全性？
确保Agent安全性需践行纵深防御，包括前端的语义过滤和防御提示、中台的动态权限控制、后端的工具链管控等。
LLM技术的演变对安全性有何影响？
LLM技术的演变使得安全风险从传统数据风险升级为全链路攻击面，增加了新的攻击向量。
什么是安全对齐，为什么重要？
安全对齐是确保AI系统行为与人类价值观一致的核心概念，重要性在于解决AI效率与安全之间的目标冲突。
➡️
