企业从搜索转向智能体AI时，核心挑战是检索层需为自主代理提供可信、实时的上下文。仅12%公司对答案准确性有信心，超50%难从试点转生产。关键在于上下文工程，避免“上下文腐烂”，并整合统一平台而非拼凑点方案，以降低令牌成本、提升精度，实现生产级智能体架构。

本文探讨了代理型AI循环中隐藏的令牌成本问题，指出成本会非线性复合增长。文章列举了五种成本陷阱：O(N²)上下文累积、无界重试循环、未过滤工具负载、单一模型路由和静态系统提示重复。解决方案包括上下文压缩、断路器、负载过滤、动态模型路由和运行时提示注入。最后强调应将上下文视为受限资源，从第一天起就进行管理。

GPU利用率并不是最终目标，关键指标是令牌成本。近年来，AI基础设施中的GPU调度成为热门话题，旨在提高GPU利用效率。随着企业开始运行生产级大型语言模型服务，新的现象也随之出现。