燧原科技与飞桨大模型工具链完成推理 I 级适配
原文中文,约1200字,阅读约需3分钟。
📝
内容提要
燧原科技的S60人工智能推理加速卡通过大模型推理I级兼容性测试,成为国内首家适配认证的芯片厂商。S60在Llama-13B模型上表现良好,可广泛应用于图像、文本生成、搜索与推荐、文本、图像和语音识别等场景。
🎯
关键要点
-
燧原科技的S60人工智能推理加速卡完成大模型推理I级兼容性测试,成为国内首家适配认证的芯片厂商。
-
S60在Llama-13B模型上表现良好,满足精度、首字延迟及tokens吞吐率等指标。
-
飞桨大模型工具链适配认证标准包括调优、训练、推理等功能的验证。
-
燧原S60适用于数据中心大规模部署,广泛应用于图像、文本生成、搜索与推荐等场景。
-
燧原科技专注于人工智能领域云端算力产品,提供自主知识产权的训练和推理产品。
-
飞桨是中国首个自主研发的产业级深度学习平台,服务1465万开发者和37万家企事业单位。
-
飞桨与硬件厂商联合发布硬件生态共创计划,已有超过40家成员参与。
❓
延伸问答
燧原科技的S60加速卡有什么特点?
燧原S60加速卡适用于数据中心大规模部署,具有模型覆盖面广、易用性强、易迁移易部署等特点。
燧原科技与飞桨的合作成果是什么?
燧原科技的S60加速卡完成了大模型推理I级兼容性测试,成为国内首家适配认证的芯片厂商。
S60加速卡在Llama-13B模型上的表现如何?
S60在Llama-13B模型上表现良好,满足精度、首字延迟及tokens吞吐率等指标。
飞桨大模型工具链的适配认证标准包括哪些内容?
飞桨大模型工具链适配认证标准包括调优、训练、推理等功能的验证,设定精度、性能、稳定性等验收要求。
燧原科技的目标是什么?
燧原科技专注于人工智能领域云端算力产品,致力于为人工智能产业发展交付普惠的基础设施解决方案。
飞桨平台的用户基础有多大?
截至2024年6月,飞桨文心生态已凝聚1465万开发者,服务37万家企事业单位。
🏷️