The DigitalOcean Blog
·
我们如何在DigitalOcean NVIDIA HGX™ B300 GPU Droplets上构建最具性能的DeepSeek V3.2、MiniMax-M2.5和Qwen 3.5 397B
内容提要
DigitalOcean推出DeepSeek V3.2、MiniMax-M2.5和Qwen 3.5 397B，优化了硬件和软件，提升了推理速度和效率，满足现代AI应用的低延迟需求。
关键要点
-
DigitalOcean推出DeepSeek V3.2、MiniMax-M2.5和Qwen 3.5 397B，优化了硬件和软件。
-
DeepSeek V3.2在输出速度上领先于所有提供商，达到每秒230个输出标记。
-
低延迟推理对现代AI应用至关重要，尤其是对交互式应用。
-
优化推理性能可以帮助企业实现更可靠的性能和更低的成本。
-
DeepSeek V3.2在10K输入标记下，提供了平衡的延迟和输出速度。
-
NVIDIA HGX™ B300 GPU是性能突破的基础，具有288GB HBM3e容量和1.5倍的计算能力。
-
通过与Inferact的合作，优化了开源vLLM服务框架以提高推理速度。
-
DigitalOcean的推理平台帮助客户如Workato实现了显著的性能提升。
延伸解读
低延迟推理的重要性
在现代AI应用中，低延迟推理是用户体验的关键。尤其是在交互式应用中，超过一秒的响应时间会导致用户流失。因此，企业在选择推理平台时，应优先考虑其延迟性能，以确保提供流畅的用户体验。
硬件与软件的协同优化
DigitalOcean通过与NVIDIA的合作，优化了GPU性能和软件架构，显著提升了推理速度。这表明，单靠先进的硬件并不足以实现最佳性能，软件的定制化和优化同样至关重要。企业在部署AI解决方案时，应关注硬件与软件的整体协同。
企业成本与性能的平衡
优化推理性能不仅能提升速度，还能降低企业的运营成本。DigitalOcean的解决方案帮助客户如Workato实现了显著的成本节约和性能提升，表明在选择云服务时，企业应考虑其对成本效益的影响。
延伸问答
DigitalOcean推出了哪些新产品？
DigitalOcean推出了DeepSeek V3.2、MiniMax-M2.5和Qwen 3.5 397B。
DeepSeek V3.2的输出速度是多少？
DeepSeek V3.2的输出速度达到每秒230个输出标记。
为什么低延迟推理对现代AI应用重要？
低延迟推理对现代AI应用至关重要，因为它能提供无缝的用户体验，尤其是在交互式应用中。
NVIDIA HGX™ B300 GPU的特点是什么？
NVIDIA HGX™ B300 GPU具有288GB HBM3e容量和1.5倍的计算能力，是性能突破的基础。
DigitalOcean如何优化推理性能？
DigitalOcean通过与Inferact合作，优化了开源vLLM服务框架，并实施了多种技术来提高推理速度。
使用DeepSeek V3.2的企业有哪些好处？
使用DeepSeek V3.2的企业可以实现更可靠的性能和更低的成本，提供优越的代币经济性和可预测的延迟。
