Vercel News
·
在Vercel AI Gateway上自定义超时以实现更快的自动故障转移
内容提要
AI Gateway现已支持为每个推理提供者设置超时，以实现更快的故障转移。如果提供者在配置的超时时间内未响应，AI Gateway将中止请求并切换到下一个可用提供者。目前此功能仅适用于BYOK凭证，系统提供者的超时支持即将推出。
关键要点
-
AI Gateway现在支持为每个推理提供者设置超时，以实现更快的故障转移。
-
如果提供者在配置的超时时间内未响应，AI Gateway将中止请求并切换到下一个可用提供者。
-
目前此功能仅适用于BYOK（自带密钥）凭证，系统提供者的超时支持即将推出。
-
用户可以通过providerTimeouts在providerOptions.gateway中设置每个提供者的超时时间（以毫秒为单位）。
-
可以使用order控制提供者的顺序和故障转移速度。
延伸解读
超时设置的重要性
在使用AI Gateway时，合理设置超时时间可以显著提高系统的响应速度和稳定性。通过为每个推理提供者配置超时，用户能够在某个提供者未能及时响应时，迅速切换到下一个可用的提供者，从而减少请求的延迟。这对于需要高可用性的应用场景尤为重要。
BYOK凭证的限制
当前，AI Gateway的超时功能仅适用于BYOK（自带密钥）凭证，这意味着用户在使用系统提供者时无法享受此功能。随着系统提供者超时支持的推出，用户将能够更全面地利用这一功能，提升整体服务的可靠性。
故障转移的策略
用户可以通过设置提供者的顺序和超时时间来优化故障转移的策略。合理的顺序和超时配置不仅能提高请求的成功率，还能降低因请求超时而产生的费用。了解不同提供者的响应能力和费用结构，将有助于用户做出更明智的配置选择。
延伸问答
如何在AI Gateway上设置推理提供者的超时时间？
用户可以通过在providerOptions.gateway中使用providerTimeouts来设置每个提供者的超时时间，单位为毫秒。
AI Gateway的超时功能适用于哪些凭证？
目前，超时功能仅适用于BYOK（自带密钥）凭证，系统提供者的超时支持即将推出。
如果提供者在超时时间内未响应，会发生什么？
如果提供者在配置的超时时间内未响应，AI Gateway将中止请求并切换到下一个可用提供者。
如何控制推理提供者的顺序和故障转移速度？
可以使用order参数来控制提供者的顺序和故障转移速度。
AI Gateway的超时设置对费用有影响吗？
某些提供者不支持流取消，因此根据提供者的不同，用户可能仍会因超时请求而被收费。
可以为多个提供者设置不同的超时时间吗？
是的，可以为多个提供者设置不同的超时时间，并通过order参数控制它们的顺序。
