内容提要
AI Gateway新增区域推理功能,支持将请求固定到美国或欧盟数据中心,或使用全球路由。用户可通过设置inferenceRegion字段指定区域,响应会报告实际服务区域。此功能简化了数据驻留和合规要求,无需为每个提供商单独配置。区域推理可能产生约10%的额外费用,由提供商定价,AI Gateway不加价。
延伸解读
数据驻留的简化方案
此前,团队若需满足数据驻留或合规要求,必须为每个模型提供商单独配置区域路由,且难以确认请求实际运行的位置。区域推理通过一个统一的 inferenceRegion 字段解决了这一问题,该字段在所有支持所选区域的提供商中行为一致,并在响应中报告实际服务区域,从而简化了合规流程。
区域固定的行为与限制
区域推理支持将请求固定到美国或欧盟数据中心,或使用全球路由。若没有模型提供商能服务所选区域,请求将失败而非在其他区域运行,这确保了数据不会意外存储到非预期区域。用户可通过模型列表过滤或查看 /v1/models 的 regions 数组来确认可用性。
成本与透明性
固定区域可能产生额外费用,通常由提供商设定,约为标准价格的 10% 以上,AI Gateway 不加价,直接传递。这为用户提供了成本透明性,但需注意区域推理是选择加入的,未设置 inferenceRegion 的请求将全球路由,无驻留保证。
Q&A
AI Gateway的区域推理功能是什么?
AI Gateway新增了区域推理功能,允许用户将请求固定到美国或欧盟的数据中心,或者使用全球路由。通过设置inferenceRegion字段,可以指定请求运行的地理区域,确保数据在指定区域处理。
如何将AI Gateway的请求固定到美国或欧盟?
在请求中设置inferenceRegion字段,例如使用AI SDK时,在providerOptions.gateway中设置inferenceRegion: { scope: 'zone', geoRegion: 'us' }即可固定到美国,将geoRegion改为'eu'则固定到欧盟。
AI Gateway支持哪些区域选项?
AI Gateway支持三个区域选项:us(美国数据中心)、eu(欧盟数据中心)和global(全球路由,不固定区域)。
如果请求的区域没有可用的模型提供商,会发生什么?
如果没有任何模型提供商能够服务该区域的请求,请求将失败,而不会在其他区域运行。这确保了数据驻留的严格性。
如何确认请求实际在哪个区域运行?
每个响应都会报告实际服务该请求的区域,因此可以通过响应中的区域信息来确认请求运行的位置。
区域推理功能如何简化数据驻留和合规要求?
以前,团队需要为每个提供商单独配置区域路由,且无法可靠确认请求实际运行位置。现在,通过一个统一的inferenceRegion字段,所有支持该区域的提供商都按相同方式处理,并且响应会告知实际服务区域,从而简化了合规流程。
区域推理会产生额外费用吗?
是的,固定区域可能会产生额外费用。提供商设定的区域费率通常比标准费率高出约10%,AI Gateway会原样传递,不加价。
如何查看哪些模型在特定区域可用?
可以筛选模型列表,查看在US或EU可用的模型,或者通过/v1/models接口读取regions数组来获取模型可用区域信息。