Blog on LlamaIndex
·
上下文工程 - 它是什么，以及需要考虑的技术
💡
原文英文，约2000词，阅读约需8分钟。
📝
内容提要
上下文工程是构建有效AI代理的关键，强调为任务提供相关信息。与提示工程不同，它专注于填充上下文窗口，确保信息的相关性和有效性。文章讨论了上下文的组成部分及其在AI应用中的重要性，并提出了选择合适上下文和优化上下文窗口的策略。
🎯
关键要点
- 上下文工程是构建有效AI代理的关键，强调为任务提供相关信息。
- 上下文工程与提示工程不同，专注于填充上下文窗口，确保信息的相关性和有效性。
- 上下文的组成部分包括系统提示、用户输入、短期记忆、长期记忆、知识库信息、工具定义、工具响应和结构化输出。
- 选择合适的上下文和优化上下文窗口是上下文工程的主要挑战。
- 知识库或工具选择是上下文工程中的重要考虑因素，需确保代理选择正确的资源。
- 上下文的排序或压缩是另一个重要因素，需在有限的上下文空间内有效利用信息。
- 长期记忆的存储和检索对于需要持续对话的应用至关重要。
- 结构化信息可以有效提供相关上下文，避免不必要的信息过载。
- 工作流工程关注任务的执行顺序，优化上下文的使用。
- LlamaIndex提供了易于使用的检索基础设施和工作流编排框架，适合上下文工程的应用。
❓
延伸问答
什么是上下文工程，它的主要目标是什么？
上下文工程是构建有效AI代理的关键，旨在为任务提供相关信息，以确保信息的有效性和相关性。
上下文工程与提示工程有什么区别？
上下文工程专注于填充上下文窗口，确保信息的相关性，而提示工程则侧重于提供正确的指令给LLM。
上下文的组成部分有哪些？
上下文包括系统提示、用户输入、短期记忆、长期记忆、知识库信息、工具定义、工具响应和结构化输出。
在上下文工程中，选择合适的上下文面临哪些挑战？
主要挑战包括选择合适的上下文和优化上下文窗口，以适应有限的上下文空间。
长期记忆在上下文工程中有什么重要性？
长期记忆用于存储和检索持续对话中的信息，对于需要持续交互的应用至关重要。
如何优化上下文窗口以避免信息过载？
可以通过上下文排序、压缩和使用结构化输出等技术来优化上下文窗口，确保信息的有效利用。
➡️
