luozhiyun`s Blog 我的技术分享
·
AI Agent 的上下文系统：Context Engineering 指南
💡
原文中文，约5600字，阅读约需14分钟。
📝
内容提要
上下文工程是优化大型语言模型（LLM）处理有限上下文窗口的策略，旨在管理整个输入上下文，确保模型关注重要信息。有效的上下文工程可以防止信息处理能力下降，避免准确性崩溃和指令漂移。通过压缩、子代理架构和文件系统等方法，提高信息传递效率，确保模型在多轮交互中保持高效和准确。
🎯
关键要点
- 上下文工程是优化大型语言模型处理有限上下文窗口的策略。
- 上下文工程确保模型关注重要信息，防止信息处理能力下降。
- 有效的上下文工程可以避免准确性崩溃和指令漂移。
- 上下文工程与提示工程不同，侧重于整个输入上下文系统。
- 在多轮交互中，需要管理整个上下文状态以提高模型输出质量。
- 上下文腐败会导致准确性崩溃、指令漂移和逻辑死循环等问题。
- 上下文工程的最佳实践包括信息压缩、子代理架构和文件系统的使用。
- 压缩方法包括级联摘要、Token级硬裁剪和语义软压缩。
- 子代理架构通过分工处理特定任务，避免上下文限制。
- 使用文件系统作为上下文补充可以解决长时程任务中的上下文腐败问题。
- 拼接上下文时要按顺序放置重要信息，以防中间信息丢失。
- 使用结构化标记可以有效隔离数据和指令，降低模型混淆。
- 在拼接之前需对内容进行预处理，提升信号密度，防止上下文污染。
- 动态分配Token预算，设置各部分权重以防止信息过载。
- 选择性注入上下文，根据查询性质动态决定注入的知识片段。
❓
延伸问答
什么是上下文工程，它的主要目标是什么？
上下文工程是优化大型语言模型处理有限上下文窗口的策略，旨在管理整个输入上下文，确保模型关注重要信息。
上下文腐败会导致哪些问题？
上下文腐败可能导致准确性崩溃、指令漂移和逻辑死循环等问题。
上下文工程的最佳实践有哪些？
最佳实践包括信息压缩、子代理架构和使用文件系统作为上下文补充。
如何通过压缩方法优化上下文传递？
压缩方法包括级联摘要、Token级硬裁剪和语义软压缩，以减少传递给模型的Token数量。
子代理架构在上下文工程中有什么作用？
子代理架构通过分工处理特定任务，避免上下文限制，提高信息处理效率。
在多轮交互中，如何管理上下文状态以提高模型输出质量？
需要管理整个上下文状态，包括系统指令、工具、外部数据和消息历史记录，以确保模型输出的准确性和高效性。
➡️
