Baseten的决策模型Mammoth-1（27B）和Elephant-1（9B）在AI Gateway免费开放至10月27日。二者支持16k上下文，可对文本分类、路由请求并按自定义标准评分，返回选项、概率和分数，单次请求可提多个问题。模型名称为baseten/mammoth-1或baseten/elephant-1，调用会计入日志与预算。

Mux的@mux/ai工具现已支持开源模型，新增Baseten和OpenAI兼容端点提供商，允许用户自带本地或自托管模型。该工具要求视觉能力和结构化输出，部分模型需base64模式，并附验证脚本。开源模型存在可靠性问题，已通过重试机制解决。用户还可微调模型，集成更便捷。

Kimi K3模型现可通过AI Gateway在美国提供商（如Baseten和Fireworks）使用，支持零数据保留和指定美国区域推理。提供标准版和快速版（成本高50%），支持故障转移和高可用性。开发者可通过AI SDK或API调用，并查看各提供商的价格和性能。

文章讨论了AI基础设施和推理工作负载的演变，强调了从传统机器学习模型向大规模神经网络转变带来的GPU使用挑战，以及未来硬件特定优化的潜力。Baseten作为AI基础设施平台，提供必要的工具和硬件以快速推出AI产品。