开发者现可使用全球最快的AI芯片
内容提要
芯片制造商Cerebras推出了名为Cerebras Inference的AI云服务，声称比常规云提供商快10到20倍。该服务提供了世界上最大最快的AI芯片，性能超过了Nvidia的GPU。开发者可以使用免费的API密钥在平台上构建AI应用程序，但自定义选项有限。该服务提供了Llama 3.1等模型以及未来具有数十亿参数的模型。Cerebras的芯片比Nvidia的GPU要大得多，从而实现更快的性能。该公司还与G42合作，在美国建立AI数据中心。
延伸解读
速度优势与代价
Cerebras Inference 在 Llama 3.1 8B 上达到每秒 1842 个标记，比微软 Azure 快约 20 倍。这种速度源于其将整个芯片放在晶圆上，并将 SRAM 内存集成在芯片内，解决了带宽瓶颈。但速度并非没有代价：Cerebras 的推理服务定价较高，付费层每百万标记输入或输出收费 10 美分（8B 模型）或 60 美分（70B 模型），且未来可能涨价。
开发者迁移与定制限制
开发者可以免费获取 API 密钥，并通过替换 API 密钥和指向 Cerebras 云服务，轻松将聊天机器人或其他 AI 应用迁移过来，只需修改一两行代码。平台兼容 OpenAI 客户端库，模型使用标准 PyTorch 编写。然而，自定义选项非常有限：开发者无法深度定制模型或控制硬件，只能在前端进行控制。若需运行非 Llama 8B 或 70B 的模型，需与 Cerebras 合作构建部署。
生态短板与竞争格局
尽管 Cerebras 硬件性能优越，但它缺乏 Nvidia 那样成熟的软件生态系统。大多数专有和开源大模型已针对 GPU 优化，Nvidia 还将推出下一代 Blackwell 芯片。Cerebras 的芯片在 HPC 和 AI 训练领域表现良好，并与 G42 合作在美国建立 AI 数据中心。开发者支持对 Cerebras 推理服务的成功至关重要，公司已设立 Discord 和 Slack 频道。
多模型工作流的新可能
Cerebras 的高速度开启了代理建模的可能性：单个提示可分发到多个模型，经分析处理后聚合结果。合作伙伴正在构建将 Cerebras LLM 与其他模型串联的应用，例如先进行语音转文本，再送入 LLM 推理，最后输出文本转语音。开发者可以灵活地将 LLM 推理融入多模态工作流，但目前尚无“一键式”功能，需要为不同模型定制脚本。
Q&A
Cerebras Inference的AI云服务有什么特点？
Cerebras Inference声称比常规云提供商快10到20倍，提供世界上最大最快的AI芯片，性能超过Nvidia的GPU。
开发者如何使用Cerebras的AI芯片？
开发者可以使用免费的API密钥在Cerebras平台上构建AI应用程序，但自定义选项有限。
Cerebras的芯片与Nvidia的GPU相比有什么优势？
Cerebras的WSE-3 AI芯片面积约为46,225mm²，是Nvidia H100 GPU的56倍，提供更快的响应时间和更高的性能。
Cerebras Inference的定价策略是怎样的？
Cerebras的推理服务定价较高，但API是免费的，提供免费和付费层，付费层按每百万个标记收费。
Cerebras的AI芯片如何解决带宽问题？
Cerebras将整个芯片放在一个晶圆上，解决了传统GPU之间的带宽瓶颈问题。
Cerebras未来有哪些计划或模型推出？
未来将推出具有405亿参数的Llama 3.1模型和其他大型模型，如Mistral的Large 2。
