➡️
继续阅读
-
推理服务的缓存与调度：前缀、多级存储、集群路由
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级，因此设计围绕复用展开：单实例内通过块哈希实现前缀缓存；KV池采用writ...
-
Kimi K3 模型结构（10）：RL 与服务，状态住在哪里
本文介绍Kimi K3模型在1M上下文强化学习与线上服务中的系统设计，核心是状态管理。KV块和KDA状态通过write-back策略在GPU与DRAM池间...
-
企业选择 RTC 推流服务时应该关注哪些指标？
选择RTC推流服务时，需核实四类指标：体验指标（延迟、卡顿率、成功率）要明确统计口径；网络能力（抗丢包、抖动吸收、节点覆盖）决定体验上限；可观测性（质量大...
-
CEO的1元年薪起源 - 编程一生
手机更新换代，背后的安迪-比尔定理。还有其他一些大家天天接触但很多人没有深究的一些现象都是怎么产生的呢？ 又要换手机了 现象 很多朋友都发现这种事情，刚买...
-
又当了一回网络工程师，找到满速断网问题
搬家后宽带频繁断网，尤其在高速下载或看高清视频时。排查发现路由器、运营商均无问题，最终确定是墙内埋设的网线故障。将设备移至弱电箱后问题解决，网速提升一倍。...
-
GPT-6 Astra来了：AI真的开始像“数字员工”一样工作了吗？
GPT-6 Astra发布，OpenAI旨在让AI从聊天机器人进化为“数字员工”。其关键能力包括：一句话生成可交互3D世界、理解三维空间、执行复杂工作流、...
