💡
原文中文，约4400字，阅读约需11分钟。
📝
内容提要
飞桨框架3.0发布，新增动静统一自动并行、大模型训推一体和高阶微分等特性。支持多硬件推理，优化性能，特别是DeepSeek模型的推理能力显著提升，单机每秒输出token数超过1000，4比特方案可达2000，解码速度和吞吐量均有显著改善。
🎯
关键要点
- 飞桨框架3.0发布，新增动静统一自动并行、大模型训推一体和高阶微分等特性。
- 动静统一自动并行通过少量张量切分标记自动完成分布式切分信息推导，减少80%分布式相关代码开发。
- 大模型训推一体依托高扩展性的中间表示（PIR）进行全方位深度优化，支持多款主流大模型，DeepSeek-R1单机部署吞吐提升一倍。
- 科学计算高阶微分通过高阶自动微分和神经网络编译器技术，微分方程求解速度比PyTorch快115%。
- 神经网络编译器通过自动算子融合技术，无需手写底层代码，部分算子执行速度提升4倍，模型训练速度提升27.4%。
- 异构多芯适配降低异构芯片与框架适配复杂度，初次适配接口数比PyTorch减少56%，代码量减少80%。
- 大模型推理能力全面升级，支持FP8和INT8量化，4比特量化推理显著提升系统吞吐。
- DeepSeek R1 FP8推理单机每秒输出token数超1000，4比特方案可达2000，推理性能领先其他开源方案。
- 支持MTP投机解码，解码速度保持不变的情况下，吞吐提升144%；解码速度提升42%。
- 针对长序列Prefill阶段，通过注意力计算动态量化，首token推理速度提升37%。
❓
延伸问答
飞桨框架3.0有哪些新特性？
飞桨框架3.0新增动静统一自动并行、大模型训推一体和高阶微分等特性。
DeepSeek-R1的推理性能如何？
DeepSeek-R1在FP8推理下单机每秒输出token数超过1000，4比特方案可达2000，推理性能显著领先其他开源方案。
如何在飞桨框架3.0下部署DeepSeek模型？
可以通过Docker和NVIDIA Container Toolkit进行部署，使用提供的命令和下载脚本来完成模型的下载和服务启动。
飞桨框架3.0如何优化大模型的推理能力？
通过高扩展性的中间表示（PIR）进行深度优化，支持多款主流大模型，并在DeepSeek V3/R1上取得了显著的性能提升。
飞桨框架3.0的高阶微分有什么优势？
高阶微分通过高阶自动微分和神经网络编译器技术，使微分方程求解速度比PyTorch快115%。
DeepSeek-R1的MTP投机解码有什么效果？
MTP投机解码在解码速度保持不变的情况下，吞吐提升144%；在吞吐接近的情况下，解码速度提升42%。
➡️
