推理扩展使大型语言模型（LLMs）在适当上下文中处理实际情况。文章提出“记忆扩展”概念，表明代理在积累更多信息后表现更佳。实验显示，外部记忆的增加提升了代理的准确性和效率，尤其在企业环境中。有效的存储、管理和治理基础设施是实现记忆扩展的关键，以确保代理在持续使用中不断改进。

Gateway API推理扩展旨在解决Kubernetes上生成AI和大型语言模型（LLM）服务的流量路由问题。该扩展在现有Gateway API基础上增加了推理特定的路由能力，支持模型感知路由和请求优先级管理。通过引入InferencePool和InferenceModel，平台管理员和模型拥有者能够更有效地管理资源和服务请求。测试结果显示，该扩展在高负载下显著降低延迟，提高了GPU利用率，优化了AI工作负载的路由效率。