AI Gateway 推出虚拟模型
内容提要
AI Gateway 推出虚拟模型功能，以单一 ID 抽象模型与配置。开发者无需改代码或重新部署，即可切换模型、设置回退与优先级，并集中强制零数据保留。可为不同任务分配专属虚拟模型，统一治理团队所用模型，并查看各任务的请求、花费与成功率。
延伸解读
虚拟模型如何减少运维负担
文章指出，过去切换模型需要修改代码并重新部署，而虚拟模型将模型选择与配置移到 AI Gateway 侧。开发者只需在代码中引用一个虚拟模型 ID，之后在网关中修改背后的模型或设置，所有调用该 ID 的应用和代理会在几分钟内自动生效。这降低了因模型更新或故障切换带来的发布频率，尤其适合频繁迭代的代理任务。
按任务分配模型与集中治理
文章举例说明，不同任务对成本和推理能力的需求不同：客服工单分类需要低成本高频运行，法律合同审查则需要高推理能力但低频。虚拟模型允许为每个任务创建专属 ID，并统一配置回退、零数据保留和标签。平台和安全团队可以集中管控模型与设置，且虚拟模型上的设置优先于请求中的设置，调用方无法覆盖，从而确保治理策略一致执行。
切换模型时的注意事项
文章提醒，虚拟模型上的回退、零数据保留和标签等设置会随模型切换保留，但提供商特定选项仅适用于对应提供商。例如，指向 Anthropic 的设置在该虚拟模型切换到 OpenAI 模型后不再生效，因此每次切换提供商都应检查提供商选项。此外，对生产流量切换前，建议先创建候选虚拟模型指向新模型并运行评估，若质量下降可快速切回原模型。
Q&A
AI Gateway 的虚拟模型是什么？
虚拟模型是 AI Gateway 新推出的功能，它用一个虚拟模型 ID 来抽象模型字符串和配置。通过这个 ID，你可以切换模型、设置回退和优先级，并集中强制零数据保留，而无需修改代码或重新部署。
使用虚拟模型后，切换模型还需要改代码或重新部署吗？
不需要。虚拟模型的配置在 AI Gateway 中管理，当你更新虚拟模型背后的模型或设置时，所有使用该 ID 的应用和代理会在几分钟内自动采用新配置，无需代码更改或重新部署。
如何为不同的任务分配不同的模型？
你可以为每个任务创建专属的虚拟模型 ID，例如为编码代理创建 vmc/coding-agent，并配置其使用的模型和设置。不同任务可以指向不同的虚拟模型，从而使用适合该任务的模型和配置。
虚拟模型如何帮助团队统一治理模型使用？
团队中的任何人都可以调用虚拟模型，但只有具备相应角色的人才能修改它。平台和安全团队可以集中治理和测试模型与设置，虚拟模型上的设置会覆盖请求中的相同设置，确保调用者无法覆盖提供者顺序、回退或服务层级等配置。
虚拟模型能强制零数据保留吗？
可以。你可以在虚拟模型上配置零数据保留，该配置会集中强制执行。即使请求中显式将 zeroDataRetention 设置为 false，虚拟模型的要求也会生效。
虚拟模型支持哪些类型的模型和 API？
虚拟模型适用于 AI Gateway 上的所有模型类型，包括图像、视频、语音、嵌入和实时模型，并且与 AI SDK 以及 OpenAI 和 Anthropic 兼容的 API 一起工作。
