DigitalOcean推出DeepSeek V3.2、MiniMax-M2.5和Qwen 3.5 397B，优化了硬件和软件，提升了推理速度和效率，满足现代AI应用的低延迟需求。

华为云于4月24日发布并开源DeepSeek-V4模型，该模型支持百万Token超长上下文，提升了推理性能和经济性。新模型已被金山办公、360等企业接入，支持高效API服务，优化了调度和计算效率。

DeepSeek V4 发布，具备 1M 上下文和显著提升的代码能力，推理性能接近顶尖模型。新注意力机制降低计算需求，支持更多请求。V4 Pro 价格上涨，但在知识和推理任务上表现优异。现已上线官网和 API，无法自行部署。

NVIDIA Dynamo 1.0在GTC发布，现已为DigitalOcean客户提供，推理性能提升7倍，成本降低。结合DigitalOcean的Agentic Inference Cloud，客户可高效部署，优化推理工作负载，支持GPU集群，提升吞吐量和降低延迟。

Workato的AI研究实验室与DigitalOcean合作，利用NVIDIA Dynamo和vLLM优化推理性能。通过引入KV感知路由，显著提高了GPU的吞吐量和响应速度，分别提升67%和降低79%的延迟，从而降低了推理成本和所需GPU数量。

由于内存供应紧张，英伟达将迷你 AI 工作站 DGX SPARK 的价格从 3,999 美元上涨至 4,699 美元，涨幅达18%。该工作站支持本地运行200B参数模型，推理性能达到1petaFLOP。

为解决多模型AI服务的闲置GPU成本问题，我们与vLLM社区合作开发了Multi-LoRA技术，允许多个模型共享同一GPU，优化MoE模型的推理性能。该技术通过保持原始权重不变，仅调整小型适配器，显著提升了输出速度并降低了延迟，适用于多个开源MoE模型，并已在Amazon SageMaker和Bedrock上实现。

DeepSeek推出V3.2和V3.2 Speciale模型，支持通过Vercel的AI Gateway访问。V3.2适合多种操作并支持工具使用，而V3.2 Speciale则优化了推理性能，但不支持工具使用。使用时需选择相应模型。

FastDeploy 2.3是基于飞桨框架的高性能大模型推理部署套件，支持多种模型和硬件平台。此次更新优化了推理性能，新增ERNIE-4.5和PaddleOCR-VL模型支持，提升了跨硬件一致性和开发工具的易用性，用户可通过CLI工具简化部署流程，支持多模态推理。

与NVIDIA合作，优化Blackwell GPU架构以提升大语言模型的推理性能。通过重构和开发新内核，vLLM在Blackwell上实现了最高4倍的吞吐量提升，显著提高了推理效率。新基准测试显示，Blackwell在多种交互场景下表现优异，持续推动推理性能提升。

AMD的ROCm平台在软件方面取得显著进展，缩小了与NVIDIA CUDA的差距。ROCm 7版本提升了AI推理性能，并计划在更多设备上支持该平台，进一步挑战NVIDIA的市场地位。专家预测，如果NVIDIA出现技术失误，AMD有望在AI芯片市场上颠覆其主导地位。

torch.compile 是 PyTorch 的即时编译器，旨在自动优化代码以提升大语言模型（LLM）的推理性能。它通过捕获张量操作生成优化内核，简化开发者的工作。vLLM 集成了 torch.compile，支持动态批量大小和自定义编译器传递，进一步提升性能。未来将改善稳定性和启动时间，推动推理性能的提升。