Amazon SageMaker 上的 Baichuan2 模型微调及部署（二）部署部分
内容提要
本文介绍了Baichuan2模型的三种部署方式：HuggingFace原生方式、vLLM框架和Triton Inference Server。同时介绍了加载量化和非量化模型的方法，并对BFloat16数据格式下的推理性能进行了比较。
延伸解读
部署方式选择：从简单到高效
文章介绍了三种部署Baichuan2模型的方式：HuggingFace原生、vLLM和TensorRT-LLM。HuggingFace部署简单，适合快速验证，但推理速度慢且不支持批量推理；vLLM和TensorRT-LLM则针对推理加速，支持连续批处理等技术，吞吐率显著更高。选择时需权衡部署复杂度与性能需求。
量化部署：平衡显存与效果
量化能减少GPU显存占用。例如，Baichuan2-13B-Chat的INT8量化模型仅需1张A10G卡，而BFloat16模型需要2张。HuggingFace支持bitsandbytes INT8量化，vLLM支持AutoAWQ INT4量化，TensorRT-LLM支持INT8权重量化。量化可能轻微影响效果，但能大幅降低资源需求。
推理性能对比：vLLM与TensorRT-LLM领先
在BFloat16格式下，使用2张A10G卡部署Baichuan2-13B-Chat，vLLM和TensorRT-LLM的吞吐率远高于HuggingFace。例如，并发数为1时，vLLM和TensorRT-LLM的吞吐率分别是HuggingFace的3.48倍和3.66倍；并发数为4时，分别达到27.55倍和27.84倍。高并发下vLLM吞吐率逐渐超过TensorRT-LLM。
LoRA模型合并与部署注意事项
若使用LoRA微调，需先用peft加载LoRA模型，并与基础模型合并后才能进行量化部署。合并时可将模型转换为float16以节省显存。部署时需注意不同模型大小对显卡资源的需求，例如7B模型需1张A10G卡，13B模型需2张。
Q&A
Baichuan2模型有哪些部署方式？
Baichuan2模型的部署方式包括HuggingFace原生方式、vLLM框架和Triton Inference Server。
如何加载量化和非量化的Baichuan2模型？
可以通过HuggingFace、vLLM或Triton Inference Server加载量化和非量化的Baichuan2模型，具体方法在文章中有详细介绍。
使用vLLM框架部署Baichuan2模型有什么优势？
vLLM框架可以提高推理速度和吞吐率，并支持批量推理，吞吐率可达到HuggingFace部署方案的24倍。
在HuggingFace中部署BFloat16模型需要注意什么？
部署BFloat16模型时，需要注意显卡资源的需求，7B模型需要1张A10G卡，而13B模型需要2张A10G卡。
INT8模型的优势是什么？
INT8模型在保证效果的情况下，可以减少GPU资源需求，例如加载Baichuan2-13B-Chat INT8模型只需要1张A10G卡。
如何使用LoRA方法微调Baichuan2模型？
使用LoRA方法微调Baichuan2模型时，会生成一个小的LoRA模型文件，可以使用peft加载，并需将LoRA模型与基础模型合并。
