扩散模型成最快深度思考!告别自回归每秒1009个tokens,英伟达微软都投了

扩散模型成最快深度思考!告别自回归每秒1009个tokens,英伟达微软都投了

💡 原文中文,约2600字,阅读约需7分钟。
📝

内容提要

扩散模型Mercury 2成为最快的生成模型,生成速度达到每秒1009个tokens,比传统自回归模型快5倍。其并行优化机制提升了生成速度,并在性能和成本上具有优势。Inception Labs专注于扩散模型,致力于突破速度与成本的瓶颈。

🎯

关键要点

  • 扩散模型Mercury 2成为最快的生成模型,生成速度达到每秒1009个tokens。

  • Mercury 2的生成速度比传统自回归模型快5倍,采用并行优化机制。

  • Mercury 2在多个基准测试中表现优异,得分普遍高于速度较慢的模型。

  • Mercury 2支持128K上下文,输入和输出价格具有较高性价比。

  • Mercury 2背后的公司Inception Labs专注于扩散模型,致力于突破速度与成本的瓶颈。

  • Inception Labs的创始人Stefano Ermon早在2019年开始研究扩散模型,推动其在文本和代码生成中的应用。

  • Mercury 2的API兼容OpenAI标准,目前暂无开源计划。

延伸问答

Mercury 2的生成速度有多快?

Mercury 2的生成速度达到每秒1009个tokens。

Mercury 2与传统自回归模型相比有什么优势?

Mercury 2比传统自回归模型快5倍,并且在性能和成本上具有优势。

Mercury 2是如何实现高速度生成的?

Mercury 2采用并行优化机制,能够同时处理多个token,从而提高生成速度。

Mercury 2的输入和输出价格是多少?

输入价格为每百万token 0.25美元,输出价格为每百万token 0.75美元。

Mercury 2背后的公司是谁?

Mercury 2背后的公司是Inception Labs,成立于2024年。

Mercury 2的API兼容性如何?

Mercury 2的API全面兼容OpenAI标准。

➡️

继续阅读