无问芯穹 MaaS AI 平台公测免费试用笔记:二
内容提要
本文介绍了无问芯穹的大模型服务平台,包括获取API Key的方法、平台接口隐藏调用方法、获取API Key的改进方案、当前资源使用限额、平台支持的模型和显卡、快速使用模型的方法等。文章还提到了一些关于模型调用和性能评测的建议。
延伸解读
免费额度与上下文长度的选择策略
平台公测期间提供每分钟12次、每天3000次请求限额,每分钟可提交12M Token,理论上一天最多可消耗30亿Token。但不同模型的上下文长度差异显著:通义千问系列和GLM部分模型支持32K,而多数模型仅4K至8K。若想充分利用免费额度处理长文本,应优先选择32K上下文的模型,避免因长度不足而频繁截断或多次调用。
异构显卡支持现状与信息透明度
平台已适配Nvidia、AMD及多家国产加速卡,但除Nvidia和AMD外,其他厂商均以“加速卡A~E”匿名展示。通过OpenAPI的模型列表接口可获取实际芯片类型,如iluvatar、metax、moorethreads等。不过,显卡型号、数量、组网方案等关键参数仍隐藏,因此当前性能测试结果仅供参考,不宜作为严格采购依据。
API Key获取流程的安全与自动化短板
获取API Key需绑定手机并输入验证码,且页面中Secret Key部分打码,需用AK换取。这一设计虽提升了安全性,但难以实现自动化换取,也不支持Token刷新和额度设置。若未来接入支付或用于生产环境,建议参考OAuth2流程,增加Token刷新、用量监控和报警机制,以降低密钥泄露和意外扣费风险。
调用前的Token计算与成本控制
平台提供token_count接口,可在调用模型前计算Prompt的Token长度,帮助优化提交内容并预估费用。同时,通过get_model_details接口可获取模型的上下文长度。由于不同模型计费方式不同,建议在程序中缓存模型配置,避免频繁请求。对于计划大规模使用MaaS的生产业务,提前计算Token并自行计费,能有效避免预期外开销。
Q&A
如何获取无问芯穹的API Key?
用户需要绑定手机并输入验证码,访问“密钥管理”页面即可获取API Key。
无问芯穹平台支持哪些模型?
平台支持的模型包括llama2、千问、infini-megrez等共24款模型。
无问芯穹的资源使用限额是什么?
当前资源使用限额为每分钟最多请求12次,每天最多请求3000次。
如何快速使用无问芯穹的模型?
用户可以通过网页端的游乐场试玩或使用API进行调用来快速使用模型。
无问芯穹平台的API调用有什么注意事项?
在使用API调用模型时需注意Token的使用和计费,建议计算模型的Token长度以优化调用。
无问芯穹平台支持哪些显卡?
平台支持的显卡包括Nvidia、AMD及其他多种加速卡。