燧原科技与飞桨大模型工具链完成推理 I 级适配
内容提要
燧原科技的S60人工智能推理加速卡通过大模型推理I级兼容性测试，成为国内首家适配认证的芯片厂商。S60在Llama-13B模型上表现良好，可广泛应用于图像、文本生成、搜索与推荐、文本、图像和语音识别等场景。
延伸解读
I级认证的实际含义
飞桨大模型工具链适配认证分为不同等级，本次燧原S60通过的是推理I级兼容性测试。根据文章，该级别针对推理功能验证，在精度、性能、稳定性等维度设定验收要求。这意味着S60已满足基础推理适配门槛，但认证体系还涵盖调优、训练等功能，I级并不代表全工具链能力均已验证。
Llama-13B验证的参考价值
本次测试以Llama-13B为验证模型，考察了精度、首字延迟及tokens吞吐率等指标。对读者而言，这些指标直接关系大模型推理的响应速度和生成效率。但文章仅说明S60在Llama-13B上表现良好，未给出具体数值，因此实际性能仍需结合自身业务场景和模型规模进一步评估。
生态协同的落地信号
燧原科技加入飞桨硬件生态共创计划后完成此次适配，成为国内首家完成适配认证的芯片厂商。飞桨已凝聚1465万开发者、服务37万家企事业单位，生态成员超过40家。对开发者来说，这类适配有助于降低国产芯片与主流深度学习平台之间的迁移和部署成本，但具体易用性仍取决于工具链完善程度。
Q&A
燧原科技的S60加速卡有什么特点？
燧原S60加速卡适用于数据中心大规模部署，具有模型覆盖面广、易用性强、易迁移易部署等特点。
燧原科技与飞桨的合作成果是什么？
燧原科技的S60加速卡完成了大模型推理I级兼容性测试，成为国内首家适配认证的芯片厂商。
S60加速卡在Llama-13B模型上的表现如何？
S60在Llama-13B模型上表现良好，满足精度、首字延迟及tokens吞吐率等指标。
飞桨大模型工具链的适配认证标准包括哪些内容？
飞桨大模型工具链适配认证标准包括调优、训练、推理等功能的验证，设定精度、性能、稳定性等验收要求。
燧原科技的目标是什么？
燧原科技专注于人工智能领域云端算力产品，致力于为人工智能产业发展交付普惠的基础设施解决方案。
飞桨平台的用户基础有多大？
截至2024年6月，飞桨文心生态已凝聚1465万开发者，服务37万家企事业单位。
