➡️
继续阅读
-
推理服务的缓存与调度：前缀、多级存储、集群路由
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级，因此设计围绕复用展开：单实例内通过块哈希实现前缀缓存；KV池采用writ...
-
DeepSeek采购160000颗华为AI芯片：专攻推理不碰训练
DeepSeek计划采购16万颗华为昇腾950DT芯片，用于内蒙古乌兰察布数据中心的推理任务，而非训练，订单约25.6亿美元。此举旨在降低成本、规避美国管...
-
GPT-6带火循环Transformer，阿里早已布局
阿里团队针对循环Transformer的计算冗余问题，提出两篇论文：MeSH通过动态记忆缓冲和路由器解决循环空转，提升零样本准确率；SpiralForme...
-
机器人不能停下来等模型：星尘发布 SmoothRL，让在线强化学习跟上大模型的异步推理
星尘智能发布SmoothRL框架，解决真实机器人异步执行中的在线强化学习问题。该框架仅对实际执行的动作进行学习，并保持训练与部署节奏一致。在投掷、戴笔帽、...
-
CEO的1元年薪起源 - 编程一生
手机更新换代，背后的安迪-比尔定理。还有其他一些大家天天接触但很多人没有深究的一些现象都是怎么产生的呢？ 又要换手机了 现象 很多朋友都发现这种事情，刚买...
-
又当了一回网络工程师，找到满速断网问题
搬家后宽带频繁断网，尤其在高速下载或看高清视频时。排查发现路由器、运营商均无问题，最终确定是墙内埋设的网线故障。将设备移至弱电箱后问题解决，网速提升一倍。...
