➡️
继续阅读
-
推理服务的缓存与调度:前缀、多级存储、集群路由
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级,因此设计围绕复用展开:单实例内通过块哈希实现前缀缓存;KV池采用writ...
-
Kimi K3 模型结构(10):RL 与服务,状态住在哪里
本文介绍Kimi K3模型在1M上下文强化学习与线上服务中的系统设计,核心是状态管理。KV块和KDA状态通过write-back策略在GPU与DRAM池间...
-
早报|苹果将迎来史上最大产品发布潮/微信小微内测Agent间沟通/何庭波发布「韬定律」新论文
苹果将迎来史上最大产品发布潮,包括折叠屏iPhone和iPhone 18 Pro;GPT-6 Astra全量发布;Anthropic用Claude完成费马...
-
Boox的迷你Picco电子阅读器预计11月上市
Boox的Picco电子阅读器预计11月上市,采用3.97英寸触控屏,无磁性背板,配物理翻页键且可自定义。无内置存储,依赖microSD卡,支持USB-C...
-
Toots 435 2026 Aug.30 - Sep.5
这是一篇个人日志,记录作者8月底至9月初的日常思考与感悟。内容涵盖低熵生活、自指认知、真实人际、个人创造及长周期规划等主题,并提及啤酒水质差异、剃须刀使用...
-
NuGet 半年度总结:周下载量从 54 亿到 67 亿,.NET 生态的"新一轮增长期"实锤了 - 张善友
NuGet周下载量半年净增13亿次达67亿,印证.NET 10 LTS与AI开发共振。OpenTelemetry首入TOP10,.NET 10工作负载包上...