Vercel News
·
AI Gateway如何在Fluid计算上运行
💡
原文英文，约1600词，阅读约需6分钟。
📝
内容提要
Vercel的AI Gateway是一个Node.js服务，通过单一接口连接多个AI模型，每天处理数十亿个令牌。它利用Fluid技术高效扩展，按实际CPU运行时间计费，确保全球低延迟、高效、可靠的AI功能。
🎯
关键要点
- Vercel的AI Gateway是一个Node.js服务，通过单一接口连接多个AI模型，每天处理数十亿个令牌。
- AI Gateway利用Fluid技术高效扩展，按实际CPU运行时间计费，确保低延迟和高效能。
- AI Gateway在第一个月处理了约16,000小时的运行时间，但只有1,200小时涉及实际的CPU工作。
- 传统的无服务器计算按实际运行时间收费，而Fluid和Active CPU定价只在CPU实际运行时收费。
- AI Gateway的架构简单，但能够在全球范围内处理流量，保持极低的延迟。
- 请求通过Vercel全球交付网络进入AI Gateway，确保高吞吐量和低延迟。
- AI Gateway使用Fluid计算，结合无服务器的可扩展性和服务器的并发性，降低网络开销。
- AI Gateway使用Redis进行全局一致性和配额跟踪，同时利用Fluid进行本地速度的短期缓存。
- 每个Fluid实例持续向AI Gateway监控服务提供实时指标，确保系统的可靠性和弹性。
- AI Gateway能够在多个提供者之间路由请求，提高可靠性，并在提供者不可用时自动重试。
- Active CPU定价与实际工作模式相匹配，消除了等待时间的浪费支出。
- AI Gateway展示了现代基础设施的演变，提供智能、高效和自我优化的服务。
❓
延伸问答
AI Gateway的主要功能是什么？
AI Gateway是一个Node.js服务，通过单一接口连接多个AI模型，每天处理数十亿个令牌。
Fluid技术如何提高AI Gateway的效率？
Fluid技术通过按实际CPU运行时间计费，减少等待时间的费用，从而提高了AI Gateway的效率。
AI Gateway如何确保低延迟和高吞吐量？
AI Gateway通过Vercel全球交付网络路由请求，结合高效的基础设施，确保低延迟和高吞吐量。
AI Gateway的定价模式是怎样的？
AI Gateway采用Active CPU定价模式，仅在CPU实际运行时收费，等待时则按较低的内存费率计费。
AI Gateway如何处理请求的可靠性？
AI Gateway能够在多个提供者之间路由请求，并在提供者不可用时自动重试，以提高可靠性。
AI Gateway的监控系统是如何工作的？
AI Gateway的监控系统通过实时指标和健康检查，持续评估性能并自动调整路由和实例规模。
➡️
