魔搭×函数计算:一键部署,缩短大模型选型到生产的距离

💡 原文中文,约3800字,阅读约需10分钟。
📝

内容提要

魔搭ModelScope社区的SwingDeploy功能可快速在阿里云函数计算平台上部署模型,并推荐最佳配置。函数计算提供弹性伸缩、GPU虚拟化、异步调用等功能,加速模型投入生产。同时,GPU闲置计费功能可降低成本开销。

🔎

延伸解读

部署流程中的关键配置要点

文章以百川2-7b-chat-4bits为例,详细说明了部署步骤。读者需注意:在配置部署参数时,若想启用闲置计费,必须选择杭州或上海地域,并选择整卡显存容量(16GB对应T4,24GB对应A10)。部署完成后,默认是按量模式,需手动切换至预留模式,并在函数计算控制台激活闲置计费选项,才能享受成本优化。

闲置计费的成本节省逻辑

文章通过一个AI初创公司的案例展示了闲置计费的经济性。该客户预留10个16GB实例,每小时GPU活跃20分钟、闲置40分钟。仅用预留模式时,GPU成本约6.34元/时/实例;启用闲置计费后,成本降至约2.46元/时/实例,节省约60%。这得益于闲置时GPU单价仅为活跃时的1/10,适合流量潮汐明显的推理服务。

免费试用额度与适用条件

首次开通函数计算的用户可获得3个月免费试用额度,包括100万GB*秒GPU、50万vCPU*秒、200万GB*秒内存和800万次函数调用。此外,2023年12月19日后开通的用户每月还有100GB CDT公网流量额度。但需注意,闲置计费目前仅适用于杭州和上海地域的整卡GPU实例,且需手动开启。

❓

Q&A

魔搭ModelScope的SwingDeploy功能是什么?它如何帮助用户部署模型?

SwingDeploy是魔搭ModelScope社区提供的模型服务功能,支持将模型从魔搭社区的模型库一键部署至用户阿里云账号的云资源上,并根据模型资源要求自动推荐最佳部署配置。用户可以选择模型并部署,系统会自动选择对应的机器配置,实现快速部署。

函数计算平台在模型部署方面提供了哪些核心能力?

函数计算平台提供极致弹性伸缩(缩零能力)、GPU虚拟化(最小1GB显存粒度)、异步调用能力、按用付费、闲置计费等能力,这些能力帮助算法工程师加快模型投入生产的生命周期。

如何将百川智能的大语言模型部署到函数计算并启用闲置计费?

步骤包括:1. 在ModelScope官网搜索模型如'baichuan2-7b-chat-4bits',点击部署并选择快速部署(SwingDeploy)和函数计算(FC);2. 配置部署参数,注意选择杭州或上海地域,并选择16GB(T4)或24GB(A10)显存;3. 确认部署成功;4. 将服务模式切换为预留模式,并在函数计算控制台激活闲置计费。

函数计算的GPU闲置计费功能如何帮助用户节省成本?

GPU闲置计费功能允许用户在没有请求时仅支付闲置费用,闲置单价为0.000009元/GB*秒,仅为活跃状态(0.00011元/GB*秒)的1/10。通过闲置计费,用户可节省高达60%的GPU资源成本。

使用函数计算GPU闲置计费有哪些地域和配置限制?

目前函数计算GPU的闲置计费模式只适用于杭州和上海地区,并且仅限于整卡使用。因此,在配置部署选项时,需确保地域设置为杭州或上海,并选择相应的显存容量,即16GB对应T4显卡型号,或24GB对应A10显卡型号。

首次开通函数计算服务有哪些免费试用额度?

首次开通函数计算服务的用户可获得免费试用额度,有效期为3个月。包括:前100万GB*秒GPU资源使用免费、前50万vCPU*秒vCPU资源使用免费、前200万GB*秒内存资源使用免费、前800万次函数调用免费。此外,2023年12月19日0时后,首次开通用户还可获得有效期3个月、每月100GB的CDT公网流量试用额度。

🏷️

标签

➡️

继续阅读