Baseten的Mammoth-1和Elephant-1现已在AI Gateway免费开放
内容提要
Baseten的决策模型Mammoth-1（27B）和Elephant-1（9B）在AI Gateway免费开放至10月27日。二者支持16k上下文，可对文本分类、路由请求并按自定义标准评分，返回选项、概率和分数，单次请求可提多个问题。模型名称为baseten/mammoth-1或baseten/elephant-1，调用会计入日志与预算。
延伸解读
决策模型与通用生成模型的区别
Mammoth-1和Elephant-1并非用于自由文本生成，而是专门执行分类、路由和评分任务。它们返回选项、概率和分数，而非自然语言回复。这种设计让应用能基于概率阈值自动决策或转人工审核，适合客服工单分流、退款意图识别等场景。
两个模型如何选择
Mammoth-1为27B参数，Elephant-1为9B参数。文章提到Mammoth-1在Jev Decision Index排名第一，Elephant-1在Artificial Analysis Decision Index并列第一。两者均支持16k上下文，选择时可权衡模型规模与任务复杂度，但文章未给出具体性能对比数据。
单次请求多问题与阈值控制
两个模型支持在一次请求中对同一输入提出多个问题，例如同时用Choice选择支持团队、用Boolean判断退款请求、用Score评估紧急程度。应用可自行设定概率阈值，决定自动执行还是送交人工复核，这为工作流自动化提供了灵活的控制点。
免费期与用量计入预算
免费开放截至10月27日，调用模型名称为baseten/mammoth-1或baseten/elephant-1。需注意，决策调用会出现在AI Gateway日志中，并与其他模型请求一样计入预算。免费期结束后可能产生费用，开发者应提前评估调用量。
Q&A
Baseten的Mammoth-1和Elephant-1在AI Gateway上免费到什么时候？
免费开放至10月27日。
Mammoth-1和Elephant-1分别有多大参数？
Mammoth-1是27B参数的大模型，Elephant-1是9B参数的小模型。
这两个决策模型的主要功能是什么？
它们可以对文本进行分类、路由请求，并根据自定义标准对内容评分。
模型返回的结果包含哪些信息？
返回选项、概率和分数。
可以在一次请求中问多个问题吗？
可以，单次请求可对同一输入提出多个问题，例如用Choice问题选择支持团队、用Boolean问题检查退款请求、用Score问题评估紧急程度。
如何在代码中调用这些模型？
使用模型名称baseten/mammoth-1或baseten/elephant-1，通过AI SDK的experimental_decide函数或Decisions API进行调用。
使用这些模型会计入日志和预算吗？
会，决策调用会出现在日志中，并与其他模型请求一样计入预算。
