AI Gateway扩展了对AI代理的治理，支持多模型和系统的工作流程，确保数据访问和政策执行。新功能包括细粒度权限控制、审计日志和成本跟踪，提升了代理行为的可见性和灵活性。用户可快速配置LLM端点，确保安全和一致的治理。

AI Gateway的自定义报告API已进入测试阶段，帮助团队跟踪AI功能的成本和使用情况。用户可以按模型、提供商和用户ID等分类支出，简化费用管理。此API支持实时查询，便于企业监控支出和使用情况，优化定价策略。

LiteLLM的回调功能允许用户在AI请求的各个阶段执行自定义代码，便于实时监控、成本跟踪和错误处理。初学者可利用内置回调快速入门，高级用户则可创建灵活的自定义回调，支持异步操作。理解回调原理有助于用户优化AI应用。

AI Gateway现已推出针对专业和企业用户的自定义报告测试版。用户可以按模型、提供商和用户等维度分析AI支出，所有推理数据集中在一个地方。通过标记请求，用户能够轻松查询和跟踪成本，并支持多种API。

亚马逊Bedrock现支持客户按部门、团队或应用程序分配和跟踪基础模型使用成本，提供高性能模型和安全隐私功能，帮助客户构建定制应用，确保数据治理和客户信任。用户可创建推理配置文件以监控使用情况和成本。