推理性能提升10倍!蚂蚁集团开源业内首个高性能扩散语言模型推理框架dInfer

量子位 量子位 ·

蚂蚁集团推出高性能扩散语言模型推理框架dInfer,推理速度提升10倍,首次超越自回归模型。dInfer支持多种扩散模型,解决了推理效率的三大挑战,标志着扩散语言模型的实践应用。

原文中文,约1300字,阅读约需4分钟。
阅读原文