AI 智能体的上下文工程：实用指南
💡
原文中文，约7800字，阅读约需19分钟。
📝
内容提要
上下文工程是一种新策略，旨在优化输入Token以引导AI模型产生预期行为。与提示词工程不同，它在有限的注意力预算下选择信息，以提升模型表现和效率。有效的上下文管理对长时程任务至关重要，涉及压缩、结构化笔记和子智能体架构等技术。
🎯
关键要点
- 上下文工程是一种新策略，旨在优化输入Token以引导AI模型产生预期行为。
- 上下文工程与提示词工程不同，后者主要关注如何编写有效的提示词。
- 上下文是输入给模型的所有Token的集合，优化这些Token的效用是上下文工程的核心。
- 上下文衰减现象表明，随着Token数量增加，模型准确回忆信息的能力下降。
- 上下文被视为有限的资源，注意力预算的管理至关重要。
- 有效的上下文工程需要找到信号最强但规模最小的Token集合。
- 系统提示词应清晰且使用简单直接的语言，保持适当的抽象层级。
- 工具设计应提升效率，避免功能过于臃肿。
- 示例应多样化且具有代表性，以有效展示智能体的预期行为。
- 动态检索上下文可以通过轻量级标识符在运行时加载数据。
- 长时程任务需要专门技术来绕过上下文窗口大小的限制。
- 压缩、结构化笔记和子智能体架构是应对上下文污染的有效技术。
- 压缩通过总结对话内容来提升长期连贯性。
- 结构化笔记允许智能体持久化信息，跟踪复杂任务的进度。
- 子智能体架构通过分离关注点来提高任务处理效率。
- 上下文工程的核心是深思熟虑地筛选信息，以最大化预期结果的可能性。
❓
延伸问答
上下文工程与提示词工程有什么区别？
上下文工程是一整套策略，旨在优化模型推理过程中的Token选择，而提示词工程主要关注如何编写有效的提示词。
上下文衰减现象是什么？
上下文衰减是指随着Token数量增加，模型准确回忆信息的能力下降的现象。
如何有效管理上下文以提升AI模型的表现？
有效管理上下文需要找到信号最强但规模最小的Token集合，并保持系统提示词清晰、直接。
长时程任务中如何应对上下文窗口大小的限制？
可以通过压缩、结构化笔记和子智能体架构等技术来绕过上下文窗口大小的限制。
什么是动态检索上下文？
动态检索上下文是通过轻量级标识符在运行时加载数据，以提高上下文的相关性和效率。
上下文工程的核心原则是什么？
上下文工程的核心原则是深思熟虑地筛选信息，以最大化预期结果的可能性。
➡️
