小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate

本文研究Claude Code的上下文管理,核心是Prompt Cache作为设计底座。文章提出三条铁律:前缀匹配、字节变化即失效、断点决定缓存起点。由此衍生四大策略(压缩、结构化笔记、子代理分解、按需检索)和31条具体机制,所有设计均以维持缓存稳定为目标。文章还列出8处官方文档与源码不符之处,并预告后续7篇系列文章。

Claude Code Context 管理研究系列(00)—— Claude Code 的 200K 账本

犀利豆的博客 犀利豆的博客 · 2026-09-08T10:00:00Z
在 Amazon Bedrock 上为 Claude 应用设计稳健的 Prompt Cache 策略

本文介绍了在 Amazon Bedrock 上为 Claude 应用设计的 Prompt Cache 策略,旨在降低输入成本和响应延迟,适用于长上下文应用。讨论了 cache checkpoint 的放置、内容块的定义及其限制,并提出了单个尾部 checkpoint 和三 CP 布局两种策略。建议监控使用情况,以优化性能和降低成本。

在 Amazon Bedrock 上为 Claude 应用设计稳健的 Prompt Cache 策略

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-05-19T03:48:36Z
大模型缓存技术工程指南(上):从价格信号到推理缓存机制

大模型缓存技术包括KV Cache、Prompt Cache和Prefix Cache等,旨在提高生成效率和降低成本。KV Cache避免重复计算,Prompt Cache和Prefix Cache用于跨请求复用相同前缀。应用层的Semantic Cache和Response Cache可以复用历史答案,减少模型调用。本文探讨了缓存机制的设计、成本测算及常见误区,强调了缓存对大模型推理的重要性。

大模型缓存技术工程指南(上):从价格信号到推理缓存机制

Wayne的技术博客 Wayne的技术博客 · 2026-05-16T01:53:14Z

Claude Code通过并行生成多个子代理来处理复杂任务,利用Prompt Cache机制显著降低输入成本。子代理共享相同的上下文,确保字节一致性超过99%,实现高达90%的费用折扣。设计强调字节级一致性,避免微小差异导致缓存失效,有效支持并行任务,优化API调用成本。

Claude Code的分叉子代理如何共享Prompt缓存

Finisky Garden Finisky Garden · 2026-04-05T12:50:42Z
从KV Cache到Prompt Cache的应用

本文探讨了大模型推理中的KV Cache优化,分析了显存瓶颈及其对推理成本的影响。通过比较DeepSeek MLA和vLLM等技术架构,提出了Prompt Cache的应用,以降低推理成本并提升效率。

从KV Cache到Prompt Cache的应用

Shadow Walker 松烟阁 Shadow Walker 松烟阁 · 2025-11-30T12:40:41Z

本文介绍了提升大型语言模型推理效率的方法,包括Prompt Cache、MeanCache和ConvPrompt等技术。这些方法通过缓存注意力状态、语义相似性和卷积提示机制,降低了推理延迟和计算成本,同时保持输出准确性。研究表明,这些技术在复杂任务和用户意图理解中表现出色。

ConvoCache:智能重用聊天机器人回复

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-26T00:00:00Z

本文介绍了提升语言模型效能的几种新方法,包括BatchPrompt、Prompt Cache和Prompt Injection。BatchPrompt通过批量推理降低时间和代币成本,Prompt Cache在长提示中显著提高推理速度,而Prompt Injection则通过将提示注入模型参数中来提升特定任务的性能。实验结果表明,这些方法在保持准确性的同时,有效加速推理并降低成本。

预打包:大语言模型快速预填和增加吞吐量的简单方法

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-15T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码