燧原科技与飞桨大模型工具链完成推理 I 级适配

💡 原文中文,约1200字,阅读约需3分钟。
📝

内容提要

燧原科技的S60人工智能推理加速卡通过大模型推理I级兼容性测试,成为国内首家适配认证的芯片厂商。S60在Llama-13B模型上表现良好,可广泛应用于图像、文本生成、搜索与推荐、文本、图像和语音识别等场景。

🎯

关键要点

  • 燧原科技的S60人工智能推理加速卡完成大模型推理I级兼容性测试,成为国内首家适配认证的芯片厂商。

  • S60在Llama-13B模型上表现良好,满足精度、首字延迟及tokens吞吐率等指标。

  • 飞桨大模型工具链适配认证标准包括调优、训练、推理等功能的验证。

  • 燧原S60适用于数据中心大规模部署,广泛应用于图像、文本生成、搜索与推荐等场景。

  • 燧原科技专注于人工智能领域云端算力产品,提供自主知识产权的训练和推理产品。

  • 飞桨是中国首个自主研发的产业级深度学习平台,服务1465万开发者和37万家企事业单位。

  • 飞桨与硬件厂商联合发布硬件生态共创计划,已有超过40家成员参与。

延伸问答

燧原科技的S60加速卡有什么特点?

燧原S60加速卡适用于数据中心大规模部署,具有模型覆盖面广、易用性强、易迁移易部署等特点。

燧原科技与飞桨的合作成果是什么?

燧原科技的S60加速卡完成了大模型推理I级兼容性测试,成为国内首家适配认证的芯片厂商。

S60加速卡在Llama-13B模型上的表现如何?

S60在Llama-13B模型上表现良好,满足精度、首字延迟及tokens吞吐率等指标。

飞桨大模型工具链的适配认证标准包括哪些内容?

飞桨大模型工具链适配认证标准包括调优、训练、推理等功能的验证,设定精度、性能、稳定性等验收要求。

燧原科技的目标是什么?

燧原科技专注于人工智能领域云端算力产品,致力于为人工智能产业发展交付普惠的基础设施解决方案。

飞桨平台的用户基础有多大?

截至2024年6月,飞桨文心生态已凝聚1465万开发者,服务37万家企事业单位。

🏷️

标签

➡️

继续阅读