➡️
继续阅读
-
通过专用GPU内核生成实现极致效率
Proteus系统利用智能体自动生成GPU专用内核，针对不同模型和运行时形状实现极致性能优化。通过严格验证、防作弊检查及知识层管理，Proteus为Qwe...
-
推理服务的缓存与调度：前缀、多级存储、集群路由
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级，因此设计围绕复用展开：单实例内通过块哈希实现前缀缓存；KV池采用writ...
-
数据并行与 ZeRO：三级分片各省多少
本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片（优化器状态、梯度、权重）减少显存占用，前两级不增通信量，第三级需额外all-gather。ZeR...
-
DeepSeek采购160000颗华为AI芯片：专攻推理不碰训练
DeepSeek计划采购16万颗华为昇腾950DT芯片，用于内蒙古乌兰察布数据中心的推理任务，而非训练，订单约25.6亿美元。此举旨在降低成本、规避美国管...
-
Suno 歌词生成 API 对接说明
本文介绍Suno歌词生成API的对接方法。该API通过输入prompt（如“A song about winter”）自动生成歌词，支持default和r...
-
机器人不能停下来等模型：星尘发布 SmoothRL，让在线强化学习跟上大模型的异步推理
星尘智能发布SmoothRL框架，解决真实机器人异步执行中的在线强化学习问题。该框架仅对实际执行的动作进行学习，并保持训练与部署节奏一致。在投掷、戴笔帽、...
