Vercel AI Gateway 现已支持模型备用功能

📝

内容提要

Vercel的AI Gateway现支持备用模型，以应对模型失败或不可用的情况。备用模型能够处理错误和能力不匹配，按指定顺序尝试，直到请求成功或无选项可用。请求费用基于成功完成的模型。

🎯

关键要点

• Vercel的AI Gateway现在支持备用模型，以应对模型失败或不可用的情况。

• 备用模型可以处理错误和能力不匹配，按指定顺序尝试，直到请求成功或无选项可用。

• 请求费用基于成功完成的模型。

• 备用模型可以在主模型不支持多模态能力时进行回退。

• 可以在providerOptions中指定模型备用选项。

• AI Gateway还包括内置可观察性、支持自带密钥和兼容OpenAI的API。

🔎

延伸解读

备用模型的实用性

Vercel的AI Gateway引入备用模型功能，能够有效应对主模型的失败或不可用情况。这一功能特别适用于多模态能力不足的场景，确保用户请求能够顺利完成，提升了系统的可靠性和用户体验。

费用结构的注意事项

请求费用是基于成功完成的模型，这意味着用户在使用备用模型时，可能会面临不同的费用结构。了解这一点可以帮助用户在选择模型时做出更明智的决策，避免不必要的成本增加。

模型选择的灵活性

用户可以在providerOptions中灵活指定备用模型，这为开发者提供了更大的自由度。通过合理配置模型顺序，用户可以根据具体需求优化请求的成功率，确保在不同情况下都能获得最佳结果。

❓

延伸问答

Vercel的AI Gateway的备用模型有什么作用？

备用模型用于应对模型失败或不可用的情况，能够处理错误和能力不匹配。

如何在Vercel的AI Gateway中指定备用模型？

可以在providerOptions中指定模型备用选项，按指定顺序尝试备用模型。

请求费用是如何计算的？

请求费用基于成功完成的模型。

备用模型如何处理多模态能力不匹配？

当主模型不支持多模态能力时，备用模型可以进行回退以处理相关请求。

Vercel的AI Gateway支持哪些API？

AI Gateway支持OpenAI兼容的API，并包括自带密钥的功能。

Vercel的AI Gateway有哪些内置功能？

AI Gateway包括内置可观察性和支持自带密钥的功能。

🏷️

标签

AI Gateway Vercel ai 备用模型 模型失败 请求费用