➡️
继续阅读
-
Kimi K3 模型结构（4）：深度维度，Attention Residuals
本文解析Kimi K3模型中的Attention Residuals（注意力残差）结构。该机制将残差连接视为深度方向上的RNN，通过可学习伪query对e...
-
推理服务的缓存与调度：前缀、多级存储、集群路由
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级，因此设计围绕复用展开：单实例内通过块哈希实现前缀缓存；KV池采用writ...
-
DeepSeek采购160000颗华为AI芯片：专攻推理不碰训练
DeepSeek计划采购16万颗华为昇腾950DT芯片，用于内蒙古乌兰察布数据中心的推理任务，而非训练，订单约25.6亿美元。此举旨在降低成本、规避美国管...
-
选择 RTC 推流方案时如何平衡成本和性能？
RTC推流成本与性能平衡的关键在于分层供给，而非一刀切。费用主要由时长、增值服务和并发构成，高清档位和RTC链路是成本放大器。通过调整分辨率、帧率、大小流...
-
趋境科技与摩尔线程达成战略合作，高品质 AI Token 国产异构方案性价比超越国际先进算力
趋境科技与摩尔线程达成战略合作，基于国产PD异构技术与MTT S5000智算卡，共建高品质AI Token工厂。方案已投产，性价比超越国际算力，实现超50...
-
机器人不能停下来等模型：星尘发布 SmoothRL，让在线强化学习跟上大模型的异步推理
星尘智能发布SmoothRL框架，解决真实机器人异步执行中的在线强化学习问题。该框架仅对实际执行的动作进行学习，并保持训练与部署节奏一致。在投掷、戴笔帽、...
