luozhiyun`s Blog 我的技术分享
·
AI Agent 的上下文系统：Context Engineering 指南
内容提要
上下文工程是优化大型语言模型（LLM）处理有限上下文窗口的策略，旨在管理整个输入上下文，确保模型关注重要信息。有效的上下文工程可以防止信息处理能力下降，避免准确性崩溃和指令漂移。通过压缩、子代理架构和文件系统等方法，提高信息传递效率，确保模型在多轮交互中保持高效和准确。
关键要点
-
上下文工程是优化大型语言模型处理有限上下文窗口的策略。
-
上下文工程确保模型关注重要信息，防止信息处理能力下降。
-
有效的上下文工程可以避免准确性崩溃和指令漂移。
-
上下文工程与提示工程不同，侧重于整个输入上下文系统。
-
在多轮交互中，需要管理整个上下文状态以提高模型输出质量。
-
上下文腐败会导致准确性崩溃、指令漂移和逻辑死循环等问题。
-
上下文工程的最佳实践包括信息压缩、子代理架构和文件系统的使用。
-
压缩方法包括级联摘要、Token级硬裁剪和语义软压缩。
-
子代理架构通过分工处理特定任务，避免上下文限制。
-
使用文件系统作为上下文补充可以解决长时程任务中的上下文腐败问题。
-
拼接上下文时要按顺序放置重要信息，以防中间信息丢失。
-
使用结构化标记可以有效隔离数据和指令，降低模型混淆。
-
在拼接之前需对内容进行预处理，提升信号密度，防止上下文污染。
-
动态分配Token预算，设置各部分权重以防止信息过载。
-
选择性注入上下文，根据查询性质动态决定注入的知识片段。
延伸解读
上下文工程的重要性
上下文工程在大型语言模型的应用中至关重要。有效的上下文管理可以防止信息处理能力下降，避免准确性崩溃和指令漂移等问题。随着上下文的增加，模型提取信息的能力可能会急剧下降，因此需要采取措施确保模型关注最重要的信息。
最佳实践与策略
上下文工程的最佳实践包括信息压缩、子代理架构和文件系统的使用。通过级联摘要和Token级硬裁剪等方法，可以有效减少传递给模型的Token数量，确保信息的完整性。同时，子代理架构可以将复杂任务分解，避免上下文限制带来的干扰。
动态分配Token预算
在上下文拼接过程中，动态分配Token预算是防止信息过载的有效策略。为不同部分设置权重，可以确保重要信息不被挤出上下文。这种方法有助于保持模型输出的准确性和一致性，尤其是在多轮交互中。
延伸问答
什么是上下文工程，它的主要目标是什么？
上下文工程是优化大型语言模型处理有限上下文窗口的策略，旨在管理整个输入上下文，确保模型关注重要信息。
上下文腐败会导致哪些问题？
上下文腐败可能导致准确性崩溃、指令漂移和逻辑死循环等问题。
上下文工程的最佳实践有哪些？
最佳实践包括信息压缩、子代理架构和使用文件系统作为上下文补充。
如何通过压缩方法优化上下文传递？
压缩方法包括级联摘要、Token级硬裁剪和语义软压缩，以减少传递给模型的Token数量。
子代理架构在上下文工程中有什么作用？
子代理架构通过分工处理特定任务，避免上下文限制，提高信息处理效率。
在多轮交互中，如何管理上下文状态以提高模型输出质量？
需要管理整个上下文状态，包括系统指令、工具、外部数据和消息历史记录，以确保模型输出的准确性和高效性。
