AI Gateway 新增基于置信度的决策回退功能
内容提要
AI Gateway 新增决策回退功能：当主模型回答满足设定的置信度条件时，请求可升级至备用模型。条件可组合，支持 Choice 和 Score 问题，布尔问题按概率范围升级。在 providerOptions.gateway.models 添加条件对象即可启用，未设置则保持原行为。触发回退会运行第二次决策，两阶段均计费。该功能处于测试阶段。
延伸解读
置信度回退的适用问题类型
该功能针对 Choice 和 Score 类型的问题，通过置信度阈值触发回退；布尔问题则按概率范围升级。这意味着不同问题类型需要不同的条件设置，开发者需根据实际场景选择合适的问题类型和阈值。
配置方式与默认行为
在 providerOptions.gateway.models 中添加条件对象即可启用回退，未设置时保持原有行为。条件可以组合，支持针对特定问题（如 intent）或所有同类型问题设置阈值，提供了灵活的配置选项。
计费影响与测试阶段
触发回退会运行第二次决策，因此两阶段均会计费，可能增加成本。该功能目前处于测试阶段，建议在非关键场景中先行验证，并关注后续文档更新。
Q&A
AI Gateway 的置信度决策回退功能是什么？
AI Gateway 新增的决策回退功能允许当主模型的回答满足设定的置信度条件时，将请求升级至备用模型。条件可以组合，支持 Choice 和 Score 问题，布尔问题按概率范围升级。
如何配置 AI Gateway 的决策回退？
在 providerOptions.gateway.models 中添加一个条件对象即可启用。例如：{ "gateway": { "models": [ { "model": "openai/gpt-6-astra", "when": { "question": "intent", "confidenceBelow": 0.69 } } ] } }。未设置该对象则保持原有行为。
置信度条件可以用于哪些类型的问题？
置信度条件覆盖 Choice 和 Score 问题。布尔问题则根据概率范围进行升级。
如果省略 question 字段，置信度条件会如何工作？
省略 question 字段时，条件会检查所有匹配类型的问题。例如 { "confidenceBelow": 0.6 } 会在任何 Choice 或 Score 答案的置信度低于 0.6 时触发升级。
触发决策回退后如何计费？
因为触发的回退会运行第二次决策，所以两个阶段都会计费。
决策回退功能目前处于什么阶段？
决策回退功能处于测试（beta）阶段。
