Override PostgreSQL's prepared statement plan choice when its cost estimates go wrong on skewed data. (I consult on PostgreSQL through PGX Inc..)
DeepSeek-V4.1为降低长上下文agent负载成本,将滑窗KV从SSD移至主机内存池,仅保留几分钟;全局KV仍存SSD至少72小时。滑窗KV丢失后用SWA Bounded Replay只回放128个token近似重建,代价是结果不精确。CSA2跨层共享在流水线并行下通过shadow indexer等三项支持训练。多模态训练有三处系统改动。
DeepSeek-V4.1 采用分层稀疏索引器降低解码开销:第20层先全量打分,选出最多16384个候选位置,后续Reindex层仅在候选池内打分,使计算量与上下文长度无关。同时,main KV改用FP4存储,每token从584字节压缩至288字节,并结合跨层共享,全局KV总量从V4-Flash的3514字节降至890字节。
Cloudflare has implemented native support for the HTTP Vary header across its edge network, enhancing cache management for all customer plans. This feature allows for better negotiation of content...
2026英特尔技术创新与产业生态大会在苏州举行,忆联作为英特尔中国区首家国产SSD战略合作伙伴,联合发布面向Agentic AI时代的高性能KV Cache G3.5方案。该方案以至强6处理器为核心,基于UH812a企业级SSD构建分层KV Cache架构,将扩展容量从单卡HBM几十GB提升至系统级。忆联还展出UH713a、UH812c/UH832c、UM301a等企业级SSD产品。
Cloudflare redesigned the in-memory representation of its Big Pineapple DNS cache, reducing the per-entry footprint by 56% and freeing roughly 100 TB of working-set memory across its fleet. The...
Redis与微软联合研究显示,97%的人相信上下文工程,仅4%已落地。文章比较Azure Managed Redis(AMR)与Azure Cache for Redis(ACR)成本:在East US 2,Premium转Balanced可省约43%,如P3月费1619美元降至B20的918美元,年省约8410美元。若迁移成本约5000美元,第八个月回本。ACR将于2027和2028年退役,建议尽早评估迁移。
Qt框架QtNetwork模块的HTTP Cache-Control响应头解析存在越界读取漏洞(CVE-2026-76151),影响Qt 6.0.0至6.8.8及6.9.0至6.11.1。恶意HTTP服务器可返回超大Cache-Control头,导致客户端QNetworkAccessManager异常终止。该漏洞仅影响客户端,不涉及32位构建,为只读越界,无信息泄露或代码执行,仅造成拒绝服务,CVSS 4.0评分4.6。建议更新至6.8.9、6.11.2或更高版本,或应用官方补丁。
文章澄清上下文窗口与KV Cache的区别:前者是单次请求的容量上限,后者是自回归解码中缓存历史Key/Value、以空间换时间的计算账本。DeepSeek V4.1 Flash将全局KV Cache降至每Token约890字节,但整机显存还需计入权重、并发等。长上下文不等于召回准,也不等于长期记忆,部署需实测峰值显存与延迟。
提出KV Cache动态调节技术:部署时根据用户输入上下文动态调整显存占用,不再用--gpu-memory-utilization固定分配。按公式2GiB+tokens×87KiB计算,再按256MiB对齐。改动后Qwen 3.8 27B在512K与900K上下文下显存差距约30GB,可省出显存并行跑其他模型。
本文介绍如何用 vLLM、NixlConnector 和 toy Proxy 搭建单容器 PD 分离 Demo:Proxy 将请求改写为 max_tokens=1 发给 Prefill,Prefill 计算 Prompt 并生成 KV Cache,返回临时 Token 和传输元数据;Proxy 丢弃 Token,携带 kv_transfer_params 转发给 Decode;Decode 通过 NIXL 从 Prefill 拉取 KV Cache 并继续生成,结果经 Proxy 返回客户端。日志中 Num successful transfers=1 可确认传输成功。
Agoda migrated its 1.5 TB hotel Price Cache from 72 SQL Server shards to DragonflyDB to handle growing read and write volumes. The migration used staged dual reads, parity validation, gradual...
Cloudflare recently described a prototype called Cache Transcoding that compresses eligible cache content, mainly uncompressed text such as HTML, JSON, CSS, and JavaScript, using Zstandard before...
本文介绍Kubernetes v1.30.3中kube-apiserver的watch cache机制,核心是Cacher组件:它通过watchCache环形缓冲存储事件,用Ready门控制启动同步,dispatch实现内存多路分发,bookmark维持资源版本推进。当缓存未命中或未就绪时回退到etcd,可能引发List风暴,需调整缓存容量和bookmark频率优化。
本文介绍Hermes Agent的长会话架构,核心是稳定Prompt前缀以命中缓存、分层压缩上下文(保留头尾总结中段)、用SessionDB存储快照,并通过SQLite租约机制防止多进程并发写坏历史。压缩失败时有回退或暂停策略,确保长期会话的可靠性与可恢复性。
Cloudflare recently introduced Cache Response Rules, a rules engine that operates after an origin server responds but before content is written to Cloudflare's cache. Previously, Cache Rules...
KV Cache 是自回归推理中缓存历史 token 的 Key 和 Value,避免重复计算前缀。它利用历史 K/V 不变性,将重复计算转为显存占用,成为长上下文推理的核心瓶颈。推理分 prefill 和 decode 两阶段,KV Cache 内存随层数、序列长度和 batch 线性增长。GQA、PagedAttention 和量化等技术用于优化 cache 管理,平衡性能与资源。
本文介绍Neo4j图数据库的page cache机制:页大小为8192字节,用于缓存磁盘上的图数据和原生索引。配置上建议显式设置server.memory.pagecache.size,并通过hit_ratio(应达98%以上)、usage_ratio、page_faults等指标监控健康度。Record格式易受随机指针颠簸影响,Block格式通过数据共置减少页访问,超节点则需建模优化。扩缓存只是优化手段之一。
本文介绍Neo4j图数据库中全文索引与向量索引的边界:两者均由Lucene驱动,不自动被Cypher规划器选用,需显式调用过程或SEARCH查询。全文索引用于分词匹配与打分,向量索引用于嵌入近邻搜索。内存上依赖OS缓存而非page cache,分数不可跨源比较,可与图拓扑扩展结合实现混合检索。
本文介绍WiredTiger存储引擎的缓存机制。缓存按需加载B-Tree页,WT_REF表示页是否在内存,WT_PAGE是已加载形态。缓存计量区分clean和dirty页,dirty页必须经reconcile转换后才能写盘。修改通过WT_UPDATE链和WT_INSERT跳表记录,session和cursor不计入缓存配额。与PostgreSQL不同,WT将内存布局与磁盘格式分离,并支持共享缓存模式。
完成下面两步后,将自动完成登录并继续当前操作。