Vercel News
·
在AI Gateway上按成本、延迟或吞吐量对提供者进行排序
内容提要
AI Gateway 允许用户根据成本、首次令牌时间（TTFT）或吞吐量（TPS）对模型提供者进行排序，以优化请求，选择最低成本或最低延迟的提供者。排序在请求时计算，并支持与其他路由选项结合使用，确保高效处理。
关键要点
-
AI Gateway 允许用户根据成本、首次令牌时间（TTFT）或吞吐量（TPS）对模型提供者进行排序。
-
默认的提供者顺序结合了提供者的可靠性、模型输出质量、成本和响应速度。
-
排序在请求时计算，支持新添加的提供者、价格变化和延迟或吞吐量的变化自动更新。
-
用户可以通过设置 providerOptions.gateway 的值为 'cost'、'ttft' 或 'tps' 来选择排序标准。
-
排序功能与其他路由选项兼容，例如零数据保留（ZDR），可以优化请求的处理。
-
每个响应都包含排序元数据，显示考虑的提供者、用于排名的指标值、尝试的顺序以及因健康状况下降而被降级的提供者。
延伸解读
排序标准的选择
用户可以根据具体需求选择排序标准，如成本、首次令牌时间（TTFT）或吞吐量（TPS）。在高成本或速度变化明显的情况下，合理选择排序标准可以显著优化请求效率，确保在不同场景下获得最佳性能。
动态更新的优势
AI Gateway 的排序功能在请求时动态计算，这意味着新添加的提供者和价格变化会自动反映在排序中。这种灵活性使得用户能够实时适应市场变化，避免因手动更新而导致的延误。
与其他路由选项的兼容性
排序功能与零数据保留（ZDR）等其他路由选项兼容，用户可以在确保数据安全的同时，优化请求的响应速度。这种组合使用能够满足对数据隐私和性能的双重需求。
延伸问答
AI Gateway如何对模型提供者进行排序？
AI Gateway允许用户根据成本、首次令牌时间（TTFT）或吞吐量（TPS）对模型提供者进行排序。
如何选择排序标准？
用户可以通过设置providerOptions.gateway的值为'cost'、'ttft'或'tps'来选择排序标准。
排序功能如何与其他路由选项兼容？
排序功能与其他路由选项兼容，例如零数据保留（ZDR），可以优化请求的处理。
排序在请求时是如何计算的？
排序在请求时计算，支持新添加的提供者、价格变化和延迟或吞吐量的变化自动更新。
响应中包含哪些排序元数据？
每个响应都包含排序元数据，显示考虑的提供者、用于排名的指标值、尝试的顺序以及因健康状况下降而被降级的提供者。
在高成本或速度变化的情况下，如何优化请求？
可以使用排序功能来优化请求，选择最低成本或最低延迟的提供者。
