Vercel News
·
在Vercel AI Gateway上自定义超时以实现更快的自动故障转移
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
AI Gateway现已支持为每个推理提供者设置超时，以实现更快的故障转移。如果提供者在配置的超时时间内未响应，AI Gateway将中止请求并切换到下一个可用提供者。目前此功能仅适用于BYOK凭证，系统提供者的超时支持即将推出。
🎯
关键要点
- AI Gateway现在支持为每个推理提供者设置超时，以实现更快的故障转移。
- 如果提供者在配置的超时时间内未响应，AI Gateway将中止请求并切换到下一个可用提供者。
- 目前此功能仅适用于BYOK（自带密钥）凭证，系统提供者的超时支持即将推出。
- 用户可以通过providerTimeouts在providerOptions.gateway中设置每个提供者的超时时间（以毫秒为单位）。
- 可以使用order控制提供者的顺序和故障转移速度。
❓
延伸问答
如何在AI Gateway上设置推理提供者的超时时间？
用户可以通过在providerOptions.gateway中使用providerTimeouts来设置每个提供者的超时时间，单位为毫秒。
AI Gateway的超时功能适用于哪些凭证？
目前，超时功能仅适用于BYOK（自带密钥）凭证，系统提供者的超时支持即将推出。
如果提供者在超时时间内未响应，会发生什么？
如果提供者在配置的超时时间内未响应，AI Gateway将中止请求并切换到下一个可用提供者。
如何控制推理提供者的顺序和故障转移速度？
可以使用order参数来控制提供者的顺序和故障转移速度。
AI Gateway的超时设置对费用有影响吗？
某些提供者不支持流取消，因此根据提供者的不同，用户可能仍会因超时请求而被收费。
可以为多个提供者设置不同的超时时间吗？
是的，可以为多个提供者设置不同的超时时间，并通过order参数控制它们的顺序。
🏷️
标签
➡️
