InfoQ
·
研究人员推出ACE框架，用于自我改进大型语言模型的上下文
内容提要
斯坦福大学、SambaNova系统和加州大学伯克利分校的研究人员提出了Agentic Context Engineering（ACE）框架，旨在通过不断演变的结构化上下文改进大型语言模型（LLMs），无需重训练。ACE通过生成、反思和策展三个组件进行局部更新，保持先前知识。评估结果显示，ACE在多个任务中表现优异，准确率超过以往方法，适用于金融和医疗等领域，支持持续学习和可解释性。
关键要点
-
斯坦福大学、SambaNova系统和加州大学伯克利分校的研究人员提出了Agentic Context Engineering（ACE）框架，旨在通过不断演变的结构化上下文改进大型语言模型（LLMs），无需重训练。
-
ACE通过生成、反思和策展三个组件进行局部更新，保持先前知识，解决了上下文优化中的“上下文崩溃”问题。
-
ACE的三个组件分别是生成器（Generator）、反思器（Reflector）和策展人（Curator），各自承担不同的责任。
-
ACE通过局部更新而非重写完整提示，采用“增长与精炼”机制管理上下文项的扩展和冗余。
-
在评估中，ACE在多个任务中表现优异，准确率超过以往方法，特别是在金融和医疗领域表现突出。
-
ACE的改进在许多情况下无需模型微调或标记监督，依赖自然信号如任务结果或代码执行结果。
-
ACE显著减少了适应延迟和计算开销，适合需要透明性和选择性遗忘的领域。
-
社区反应积极，ACE展示了通过结构化、演变的上下文实现可扩展自我改进的可能性，提供了持续学习的新路径。
延伸解读
ACE框架的创新性
ACE框架通过模块化的生成、反思和策展组件，解决了传统上下文优化中的“上下文崩溃”问题。这种方法不仅提高了大型语言模型的性能，还避免了频繁重写带来的信息丢失，展示了上下文演变的潜力。
适用领域与优势
ACE在金融和医疗等领域表现突出，能够在无需模型微调的情况下，通过自然信号实现持续学习。这种透明性和选择性遗忘的能力，使得ACE特别适合对数据安全和解释性要求高的应用场景。
性能评估与比较
在多个任务评估中，ACE的准确率显著高于以往方法，尤其在AppWorld基准测试中超越了传统模型。这表明ACE不仅在理论上可行，在实际应用中也具备竞争力，值得关注其在不同领域的推广潜力。
延伸问答
ACE框架的主要目标是什么？
ACE框架旨在通过不断演变的结构化上下文改进大型语言模型，无需重训练。
ACE框架是如何解决上下文崩溃问题的？
ACE通过将上下文视为不断发展的剧本，采用生成、反思和策展三个组件进行局部更新，避免了上下文崩溃。
ACE框架的三个主要组件分别是什么？
ACE框架的三个主要组件是生成器、反思器和策展人，分别负责生成推理轨迹、分析成功与失败以及整合更新。
ACE在评估中表现如何？
ACE在多个任务中表现优异，准确率超过以往方法，特别是在金融和医疗领域表现突出。
ACE框架如何减少计算开销？
ACE通过局部更新而非重写完整提示，显著减少了适应延迟和计算开销。
ACE框架的社区反应如何？
社区反应积极，认为ACE展示了通过结构化、演变的上下文实现可扩展自我改进的可能性。
