The DigitalOcean Blog
·
技术深度剖析：DigitalOcean和AMD如何为Character.ai实现2倍的生产推理性能提升
内容提要
Character.ai与DigitalOcean和AMD合作，优化了AI平台的GPU性能，实现推理吞吐量提升至2倍，降低了推理成本，提升了响应速度，满足大规模低延迟需求。
关键要点
-
Character.ai与DigitalOcean和AMD合作，优化了AI平台的GPU性能。
-
推理吞吐量提升至2倍，降低了推理成本，提升了响应速度。
-
优化了AMD Instinct™ MI300X和MI325X GPU平台，满足大规模低延迟需求。
-
通过平台级优化实现了高请求密度和卓越的响应能力。
-
使用Qwen、Mistral等多个模型，重点优化Qwen3-235B Instruct FP8模型。
-
在严格的延迟和并发约束下，实现了请求吞吐量的2倍提升。
-
采用分布式服务、张量并行和专家并行等技术优化模型性能。
-
通过AITER库加速机器学习工作负载，提升硬件效率。
-
在迁移到AMD Instinct GPU时，解决了内存访问故障和兼容性问题。
-
优化配置中使用FP8格式，降低显存使用，提高吞吐量。
-
通过启用前缀缓存，改善多轮对话的延迟和生成吞吐量。
-
DP2 / TP4 / EP4配置在相似条件下的吞吐量提高了45%。
-
DigitalOcean Kubernetes简化了GPU工作负载的管理，提供即用型GPU集群。
-
使用NFS缓存模型权重，减少模型加载时间10-15%。
-
强调多维优化、基础设施范式和硬件软件协同设计的重要性。
-
与AMD和Character.ai的合作展示了在规模上实现卓越性能的潜力。
延伸解读
性能优化的多维度考量
Character.ai与DigitalOcean和AMD的合作强调了在AI推理性能优化中，必须平衡成本、延迟、吞吐量和并发性等多个维度。通过战略性的架构选择，可以在降低每个token的成本的同时，提升整体性能。这种多维度优化的思路对其他AI应用的基础设施设计也具有重要的借鉴意义。
硬件与软件的协同设计
文章指出，性能的提升与系统架构的低层设计密切相关，包括主机与GPU的拓扑结构、GPU间的互联、内存带宽效率等。实现最佳性能需要硬件约束、模型服务软件栈和特定模型部署拓扑之间的精确对齐。这一观点为AI基础设施的构建提供了重要的指导。
数字海洋Kubernetes的优势
DigitalOcean Kubernetes（DOKS）简化了GPU工作负载的管理，使Character.ai能够快速启动大型语言模型（LLM）工作负载。DOKS提供即用型GPU集群，减少了用户在安装和管理GPU驱动程序及Kubernetes设备插件上的复杂性。这种便捷性对于希望快速部署AI应用的团队尤为重要。
延伸问答
Character.ai与DigitalOcean和AMD的合作目标是什么？
目标是优化GPU性能，降低推理成本，并实现低延迟的大规模应用需求。
如何实现推理吞吐量的2倍提升？
通过优化AMD Instinct™ MI300X和MI325X GPU平台，以及采用分布式服务、张量并行和专家并行等技术实现。
在优化过程中遇到了哪些技术挑战？
主要挑战包括内存访问故障和兼容性问题，特别是在迁移到AMD Instinct GPU时。
使用FP8格式有什么优势？
FP8格式降低了显存使用，提高了吞吐量，并改善了多轮对话的延迟和生成吞吐量。
DigitalOcean Kubernetes在此项目中起到了什么作用？
DigitalOcean Kubernetes简化了GPU工作负载的管理，提供即用型GPU集群，帮助Character.ai快速启动LLM工作负载。
优化后的配置对成本有什么影响？
优化后的配置使得每个token的成本显著降低，直接减少了总拥有成本（TCO）。
