燧原科技与飞桨大模型工具链完成推理 I 级适配
原文中文,约1200字,阅读约需3分钟。发表于: 。近日,燧原科技的新一代人工智能推理加速卡燧原S60与飞桨已完成大模型推理I 级兼容性测试,成为国内首家完成适配认证的芯片厂商。这是燧原科技加入飞桨“硬件生态共创计划”后的阶段性成果。本次推理 I 级兼容性测试完成了对大模型Llama-13B的验证。经过双方联合严格测试,燧原S60在Llama-13B模型上的精度、首字延迟及tokens吞吐率指标均达到飞桨大模型工具链I级认证要求,且兼容性良好,整体...
燧原科技的S60人工智能推理加速卡通过大模型推理I级兼容性测试,成为国内首家适配认证的芯片厂商。S60在Llama-13B模型上表现良好,可广泛应用于图像、文本生成、搜索与推荐、文本、图像和语音识别等场景。