小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

Override PostgreSQL's prepared statement plan choice when its cost estimates go wrong on skewed data. (I consult on PostgreSQL through PGX Inc..)

Christophe Pettus: All Your GUCs in a Row: plan_cache_mode

Planet PostgreSQL Planet PostgreSQL · 2026-10-12T01:00:00Z
DeepSeek-V4.1 模型结构(8):KV cache 的管理与 SWA Bounded Replay

DeepSeek-V4.1为降低长上下文agent负载成本,将滑窗KV从SSD移至主机内存池,仅保留几分钟;全局KV仍存SSD至少72小时。滑窗KV丢失后用SWA Bounded Replay只回放128个token近似重建,代价是结果不精确。CSA2跨层共享在流水线并行下通过shadow indexer等三项支持训练。多模态训练有三处系统改动。

DeepSeek-V4.1 模型结构(8):KV cache 的管理与 SWA Bounded Replay

Java不加糖's Blog Java不加糖's Blog · 2026-10-02T13:20:00Z
DeepSeek-V4.1 模型结构(3):序列维度(下),Hierarchical Sparse Indexer 与 FP4 KV cache

DeepSeek-V4.1 采用分层稀疏索引器降低解码开销:第20层先全量打分,选出最多16384个候选位置,后续Reindex层仅在候选池内打分,使计算量与上下文长度无关。同时,main KV改用FP4存储,每token从584字节压缩至288字节,并结合跨层共享,全局KV总量从V4-Flash的3514字节降至890字节。

DeepSeek-V4.1 模型结构(3):序列维度(下),Hierarchical Sparse Indexer 与 FP4 KV cache

Java不加糖's Blog Java不加糖's Blog · 2026-10-02T12:30:00Z

Cloudflare has implemented native support for the HTTP Vary header across its edge network, enhancing cache management for all customer plans. This feature allows for better negotiation of content...

Cloudflare Adds Configurable HTTP Vary Header Support to Prevent Cache Thrashing

InfoQ InfoQ · 2026-09-29T14:14:00Z
忆联与英特尔联合发布高性能KV Cache G3.5方案

2026英特尔技术创新与产业生态大会在苏州举行,忆联作为英特尔中国区首家国产SSD战略合作伙伴,联合发布面向Agentic AI时代的高性能KV Cache G3.5方案。该方案以至强6处理器为核心,基于UH812a企业级SSD构建分层KV Cache架构,将扩展容量从单卡HBM几十GB提升至系统级。忆联还展出UH713a、UH812c/UH832c、UM301a等企业级SSD产品。

忆联与英特尔联合发布高性能KV Cache G3.5方案

全球TMT-美通国际 全球TMT-美通国际 · 2026-09-24T08:05:56Z

Cloudflare redesigned the in-memory representation of its Big Pineapple DNS cache, reducing the per-entry footprint by 56% and freeing roughly 100 TB of working-set memory across its fleet. The...

Cloudflare Cuts 100 TB of Memory from 1.1.1.1 DNS Cache

InfoQ InfoQ · 2026-09-23T13:22:00Z
从Azure Cache for Redis迁移到Azure Managed Redis如何节省40%成本

Redis与微软联合研究显示,97%的人相信上下文工程,仅4%已落地。文章比较Azure Managed Redis(AMR)与Azure Cache for Redis(ACR)成本:在East US 2,Premium转Balanced可省约43%,如P3月费1619美元降至B20的918美元,年省约8410美元。若迁移成本约5000美元,第八个月回本。ACR将于2027和2028年退役,建议尽早评估迁移。

从Azure Cache for Redis迁移到Azure Managed Redis如何节省40%成本

Redis Blog Redis Blog · 2026-09-23T00:00:00Z

Qt框架QtNetwork模块的HTTP Cache-Control响应头解析存在越界读取漏洞(CVE-2026-76151),影响Qt 6.0.0至6.8.8及6.9.0至6.11.1。恶意HTTP服务器可返回超大Cache-Control头,导致客户端QNetworkAccessManager异常终止。该漏洞仅影响客户端,不涉及32位构建,为只读越界,无信息泄露或代码执行,仅造成拒绝服务,CVSS 4.0评分4.6。建议更新至6.8.9、6.11.2或更高版本,或应用官方补丁。

安全公告:Qt框架(QtNetwork模块)HTTP Cache-Control响应头解析越界读取(缓冲区过度读取)漏洞(CVE-2026-76151)

Qt Blog Qt Blog · 2026-09-16T09:10:16Z
100万Token不等于模型全记住:从KV Cache看懂长上下文成本

文章澄清上下文窗口与KV Cache的区别:前者是单次请求的容量上限,后者是自回归解码中缓存历史Key/Value、以空间换时间的计算账本。DeepSeek V4.1 Flash将全局KV Cache降至每Token约890字节,但整机显存还需计入权重、并发等。长上下文不等于召回准,也不等于长期记忆,部署需实测峰值显存与延迟。

100万Token不等于模型全记住:从KV Cache看懂长上下文成本

Java for You Java for You · 2026-09-16T01:14:43Z

提出KV Cache动态调节技术:部署时根据用户输入上下文动态调整显存占用,不再用--gpu-memory-utilization固定分配。按公式2GiB+tokens×87KiB计算,再按256MiB对齐。改动后Qwen 3.8 27B在512K与900K上下文下显存差距约30GB,可省出显存并行跑其他模型。

动态 KV Cache 技术分享

Andy Stewart Andy Stewart · 2026-09-15T16:00:00Z
vLLM PD 分离实战:从请求流程理解 Prefill、Decode 与 KV Cache 传输

本文介绍如何用 vLLM、NixlConnector 和 toy Proxy 搭建单容器 PD 分离 Demo:Proxy 将请求改写为 max_tokens=1 发给 Prefill,Prefill 计算 Prompt 并生成 KV Cache,返回临时 Token 和传输元数据;Proxy 丢弃 Token,携带 kv_transfer_params 转发给 Decode;Decode 通过 NIXL 从 Prefill 拉取 KV Cache 并继续生成,结果经 Proxy 返回客户端。日志中 Num successful transfers=1 可确认传输成功。

vLLM PD 分离实战:从请求流程理解 Prefill、Decode 与 KV Cache 传输

探索云原生 探索云原生 · 2026-09-14T20:00:00Z

Agoda migrated its 1.5 TB hotel Price Cache from 72 SQL Server shards to DragonflyDB to handle growing read and write volumes. The migration used staged dual reads, parity validation, gradual...

Agoda Replaces 72-Shard SQL Server Price Cache with DragonflyDB

InfoQ InfoQ · 2026-09-14T13:48:00Z

Cloudflare recently described a prototype called Cache Transcoding that compresses eligible cache content, mainly uncompressed text such as HTML, JSON, CSS, and JavaScript, using Zstandard before...

Cloudflare Tests Cache Transcoding to Reduce Storage Requirements

InfoQ InfoQ · 2026-09-13T10:35:00Z

本文介绍Kubernetes v1.30.3中kube-apiserver的watch cache机制,核心是Cacher组件:它通过watchCache环形缓冲存储事件,用Ready门控制启动同步,dispatch实现内存多路分发,bookmark维持资源版本推进。当缓存未命中或未就绪时回退到etcd,可能引发List风暴,需调整缓存容量和bookmark频率优化。

【kube-apiserver】Watch cache / cacher:dispatch、bookmark 与穿透 etcd

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-28T00:00:00Z
Hermes Agent 的长会话架构:Prompt Cache、压缩与 SessionDB

本文介绍Hermes Agent的长会话架构,核心是稳定Prompt前缀以命中缓存、分层压缩上下文(保留头尾总结中段)、用SessionDB存储快照,并通过SQLite租约机制防止多进程并发写坏历史。压缩失败时有回退或暂停策略,确保长期会话的可靠性与可恢复性。

Hermes Agent 的长会话架构:Prompt Cache、压缩与 SessionDB

QingHao's Blog QingHao's Blog · 2026-08-21T10:08:50Z

Cloudflare recently introduced Cache Response Rules, a rules engine that operates after an origin server responds but before content is written to Cloudflare's cache. Previously, Cache Rules...

Cloudflare Introduces Cache Response Rules for Post-Origin Cache Control

InfoQ InfoQ · 2026-08-15T06:28:00Z

KV Cache 是自回归推理中缓存历史 token 的 Key 和 Value,避免重复计算前缀。它利用历史 K/V 不变性,将重复计算转为显存占用,成为长上下文推理的核心瓶颈。推理分 prefill 和 decode 两阶段,KV Cache 内存随层数、序列长度和 batch 线性增长。GQA、PagedAttention 和量化等技术用于优化 cache 管理,平衡性能与资源。

【Transformer 与注意力机制】49|KV Cache:推理为什么是 O(n) 不是 O(n²)

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-08T00:00:00Z

本文介绍Neo4j图数据库的page cache机制:页大小为8192字节,用于缓存磁盘上的图数据和原生索引。配置上建议显式设置server.memory.pagecache.size,并通过hit_ratio(应达98%以上)、usage_ratio、page_faults等指标监控健康度。Record格式易受随机指针颠簸影响,Block格式通过数据共置减少页访问,超节点则需建模优化。扩缓存只是优化手段之一。

【图数据库内核】Page cache 与指针追逐:布局如何变成命中率

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-08T00:00:00Z

本文介绍Neo4j图数据库中全文索引与向量索引的边界:两者均由Lucene驱动,不自动被Cypher规划器选用,需显式调用过程或SEARCH查询。全文索引用于分词匹配与打分,向量索引用于嵌入近邻搜索。内存上依赖OS缓存而非page cache,分数不可跨源比较,可与图拓扑扩展结合实现混合检索。

【图数据库内核】全文与向量属性边界:Lucene 旁路,不是 page cache 里的第二套邻接

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-08T00:00:00Z

本文介绍WiredTiger存储引擎的缓存机制。缓存按需加载B-Tree页,WT_REF表示页是否在内存,WT_PAGE是已加载形态。缓存计量区分clean和dirty页,dirty页必须经reconcile转换后才能写盘。修改通过WT_UPDATE链和WT_INSERT跳表记录,session和cursor不计入缓存配额。与PostgreSQL不同,WT将内存布局与磁盘格式分离,并支持共享缓存模式。

【WiredTiger 内核】Cache 与 WT_REF:clean/dirty 计量与按需读页

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码