BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 ·

Shared Disk KV Cache Management for Efficient Multi-Instance Inference in RAG-Powered LLMs

💡 原文英文，约100词，阅读约需1分钟。
📝

内容提要

本研究提出共享RAG-DCache，通过共享磁盘键值缓存管理，解决大型语言模型推理延迟问题。该方法在多实例环境下显著提高推理吞吐量，提升15~71%，延迟降低12~65%。

🏷️

标签

rag 共享RAG-DCache 吞吐量 推理延迟 磁盘缓存 语言模型
➡️

继续阅读

  1. EP224：MCP与RAG及AI代理的对比
    本文介绍MCP、RAG与AI Agent的区别：MCP是连接AI与外部工具的标准协议；RAG通过检索外部数据提供最新答案；AI Agent能自主决策执行任...
  2. 在代理式RAG中建立信任始于证据
    Agentic RAG通过代理重写查询、选择数据源和搜索方式，提升检索覆盖率，但需记录决策链以建立信任。系统应保留查询、来源、拒绝原因等痕迹，验证引用支持...
  3. AI 智创简报：《逐句举证专利扎堆，RAG 质检的插件生意》
    2026年多家大厂专利显示，AI答案需逐句带证据，可验证性从事后打分前移至生成时内嵌。第三方质检工具空缺，为客服、法务等团队提供引用质检插件或审计服务，成...
  4. Kimi K3 模型结构（9）：显存，把 2.8T 塞进 GPU
    本文详解Kimi K3模型训练中的显存优化策略，通过账本形式分析权重、激活等内存占用，并介绍六项关键技术：均衡PP rank激活、统一激活管理器、MoE反...
  5. DeepSeek-V4 模型结构（7）：结构决定系统
    DeepSeek-V4模型采用混合压缩注意力（mHC），将KV缓存分为状态缓存和分页缓存，分别管理滑窗KV与压缩条目。上下文并行通过点对点通信和all-g...
  6. DeepSeek-V4 模型结构（6）：优化器与稳定性，Muon
    DeepSeek-V4采用Muon优化器，通过谱范数最速下降实现逐矩阵正交化，用Newton-Schulz迭代逼近SVD，混合系数提升小奇异值并精确稳定大...
👤 个人中心
在公众号发送验证码完成验证