模型部署平台有哪些：自托管推理引擎与托管云平台的选型对比
内容提要
文章比较自托管推理引擎与托管云推理平台：月调用量低于5亿token时托管总成本更低，超过10亿token后自托管单token成本优势明显，拐点约在5亿至10亿之间。自托管需承担GPU运维，vLLM最常用，TensorRT-LLM吞吐略高但更复杂；托管平台省运维但按量计费。两者可混用，稳态走自托管、突发溢出到托管。
延伸解读
成本拐点背后的工程人力变量
文章测算显示，月调用量低于5亿token时托管总成本更低，超过10亿token后自托管优势明显，拐点约在5亿至10亿之间。但这一结论高度依赖工程人力分摊：1亿token时自托管算力仅30-40美元，加上工程分摊后超500美元，远高于托管约90美元。因此，团队是否已有专职GPU运维人力，会直接改变拐点位置，不能只看单价。
推理引擎选型：默认vLLM，特殊场景再考虑其他
文章指出多数团队自托管首选vLLM，因其模型覆盖广、社区活跃且提供OpenAI兼容接口。TensorRT-LLM在H100上吞吐略高，但需编译引擎产物，单模型耗时30分钟到2小时，且仅支持NVIDIA硬件，只有模型集合固定、能摊薄编译成本时，其10%-15%的吞吐增益才值得引入额外复杂度。SGLang则适合多轮对话和RAG等上下文复用负载。
托管平台并非同质，计费方式影响适用场景
文章对比的托管平台计费模式各异：Fireworks AI和Together AI按token计费，同款Llama 3.1 70B报价分别为每百万token 0.90美元和0.88美元；Replicate按秒计费，适合低流量和实验性负载，但量大后单位成本更高；Hugging Face Inference Endpoints按GPU小时计费，可部署任意Hub模型；Modal按GPU秒计费，冷启动较快。选型时需结合调用模式和模型范围判断。
混合部署是平衡成本与弹性的常见做法
文章提到自托管与托管可以混用，常见做法是稳态流量走自托管、突发流量溢出到托管API，并通过统一网关做路由。这种模式让团队在享受自托管规模成本优势的同时，保留应对流量峰值的弹性，避免为峰值容量过度采购GPU。对于用量处于拐点附近或波动较大的业务，混合部署比二选一更务实。
Q&A
月调用量多少时应该选托管云推理平台，多少时该选自托管推理引擎？
月调用量低于5亿token时，托管云推理平台总拥有成本更低；超过10亿token后，自托管单token成本优势明显。拐点约在5亿至10亿token之间，需结合团队人力成本判断。
自托管推理引擎里vLLM、TensorRT-LLM、SGLang、TGI各有什么优缺点？
vLLM部署最广，PagedAttention带来50%-100%吞吐提升，支持200+模型和OpenAI接口；TensorRT-LLM吞吐略高10%-15%但需编译30分钟到2小时且仅支持NVIDIA硬件；SGLang强在结构化生成和前缀缓存，缓存命中率75%-95%；TGI兼容800+模型、Docker部署简单但吞吐低20%-30%。多数团队默认选vLLM。
托管云推理平台有哪些代表，计费方式有什么区别？
代表有Fireworks AI（按token计费，Llama 3.1 70B每百万token 0.90美元）、Together AI（每百万token 0.88美元，支持微调）、Replicate（按秒计费，适合低流量）、Hugging Face Inference Endpoints（按GPU小时计费，内部用TGI）、Modal（无服务器GPU，按GPU秒计费，原生支持vLLM）。
自托管和托管平台可以混用吗？常见做法是什么？
可以混用。常见做法是稳态流量走自托管，突发流量溢出到托管API，并用统一网关做路由。
国内有没有既支持快速调用又满足信创要求的模型部署平台？
模力方舟（原Gitee AI）提供Serverless API与私有化部署两种形态，聚合约1.6万个开源模型和1万个数据集，坚持国产算力，已与沐曦、华为昇腾、天数智芯、摩尔线程等国产GPU适配，适合有数据不出境或信创要求的团队。
自托管推理引擎能部署GPT-4这类闭源模型吗？
不能。自托管需要开源权重，如Llama、Mistral、Qwen等；闭源模型只能走厂商API。
从托管平台切换到自托管，需要改代码吗？
多数平台提供OpenAI兼容接口，切换主要是改配置。vLLM与TGI在API层面可以互为替代。
