上下文工程：超越提示工程与检索增强生成
内容提要
上下文工程是构建动态系统以支持大型语言模型（LLM）完成任务的学科，侧重于系统设计和模型生成响应时的所有信息，优化短期“工作记忆”，提升LLM在多种输入下的一致性和能力。
关键要点
-
上下文工程是构建动态系统以支持大型语言模型（LLM）完成任务的学科。
-
上下文工程关注模型生成响应时所需的所有信息，而不仅仅是单一的提示字符串。
-
上下文包括系统消息、用户查询、对话历史、长期记忆、外部数据和工具输出等多个组件。
-
上下文工程强调设计系统，而不仅仅是编写提示，涉及优化短期“工作记忆”。
-
上下文工程与提示工程的主要区别在于范围，前者关注模型的整体知识和信息管理。
-
提示工程通常是一次性的，而上下文工程则强调系统化、可重复的框架。
-
检索增强生成（RAG）结合搜索步骤与LLM，确保模型能够使用最新的事实。
-
上下文工程依赖于RAG来确保响应的准确性，但也需要决定哪些信息是相关的。
-
上下文工程将LLM从简单的聊天机器人转变为强大的自主代理。
-
通过精心策划系统指令、记忆和检索知识，开发者为代理提供必要的情境意识。
延伸解读
上下文工程的系统化思维
上下文工程强调的是系统设计而非单一提示的编写。开发者需要关注如何整合多种信息源，包括用户查询、对话历史和外部数据，以优化模型的短期记忆。这种系统化思维有助于提高模型在不同输入下的一致性和准确性，适用于复杂的应用场景。
RAG与上下文工程的关系
检索增强生成（RAG）是上下文工程的重要组成部分，它通过引入外部知识来增强模型的回答准确性。然而，RAG的有效性依赖于上下文工程的设计，开发者需谨慎选择相关信息，以避免无关内容干扰模型的输出。
从提示工程到上下文工程的转变
提示工程通常是一次性的，而上下文工程则关注长期的系统设计。开发者需要从简单的提示调整转向构建可重复的框架，以确保模型在面对多样化用户查询时能够保持稳定的表现。这种转变对于提升LLM驱动系统的能力至关重要。
延伸问答
什么是上下文工程？
上下文工程是构建动态系统以支持大型语言模型（LLM）完成任务的学科，关注模型生成响应时所需的所有信息。
上下文工程与提示工程有什么区别？
上下文工程关注模型的整体知识和信息管理，而提示工程通常只关注单一的提示字符串。
上下文工程如何提升LLM的能力？
通过优化短期“工作记忆”，上下文工程提升LLM在多种输入下的一致性和能力。
检索增强生成（RAG）在上下文工程中扮演什么角色？
RAG结合搜索步骤与LLM，确保模型能够使用最新的事实，从而增强响应的准确性。
上下文工程如何影响模型的响应准确性？
上下文工程通过决定哪些信息是相关的，优化信息的呈现，确保模型生成准确的响应。
上下文工程如何改变LLM的应用？
上下文工程将LLM从简单的聊天机器人转变为强大的自主代理，提升其在多任务中的表现。
