内容提要
本期周刊聚焦AI缓存技术:大模型输入Token收费高,缓存命中价格仅为未命中的五十分之一。缓存可避免重复计算,但有时限(如DeepSeek为10分钟),AI Agent常通过定期发送请求保持缓存有效。此外还报道了带蓝牙识别的交通摄像头、声波灭火、无舷窗飞机等科技动态。
延伸解读
缓存命中的成本优势
大模型按Token收费,输入Token的缓存命中价格仅为未命中的五十分之一,因为命中缓存时基本不消耗算力,主要收取存储费用。这意味着对于多轮对话或长任务,合理利用缓存可以大幅降低API成本。开发者应关注提示词前缀的复用,以提升缓存命中率。
缓存时效与激活策略
各家模型的缓存保存时间不同,如Anthropic为5分钟,DeepSeek为10分钟,OpenAI和Google则逐步失效。为保持缓存有效,AI Agent常定期发送请求,但频率过高会增加费用。文章建议将激活间隔从30秒延长至4分钟,以平衡成本与缓存有效性。
缓存对AI Agent设计的影响
缓存机制直接影响AI Agent的交互设计。Agent需在用户暂停时自动激活缓存,但激活请求也产生费用。开发者需权衡激活频率与成本,并考虑模型是否提供专门的缓存激活接口。这提示在构建长任务Agent时,应优化请求策略以降低运营成本。
Q&A
为什么大模型输入Token的缓存命中价格远低于未命中价格?
因为缓存命中时,模型不需要重新计算提示词中重复部分的注意力关系,只需从缓存中取出之前计算的结果,基本不消耗算力,收取的费用主要是储存空间的费用,所以价格低至未命中的五十分之一。
DeepSeek的缓存有效期是多久?超过这个时间会怎样?
DeepSeek的缓存有效期为10分钟。如果对话间隔超过10分钟,缓存会被删除,模型需要重新计算上一轮的提示词,费用从命中时的2分钱涨到未命中的1元。
AI Agent如何保持缓存有效?有什么建议?
AI Agent通常每隔30秒自动向服务器发送请求以激活缓存,但这样费用较高。由于最短缓存期限也有5分钟,最新建议是改为每4分钟激活一次,以降低成本。
带蓝牙识别的交通摄像头有什么功能?
这种摄像头不仅能识别车牌号,还能捕捉蓝牙信号,将蓝牙设备的MAC地址与车牌绑定,从而推断谁在车上。此外,它还能捕捉钥匙卡和宠物芯片中的RFID标签,以及车内WiFi的SSID,增加推断的可靠性。
声波灭火的原理是什么?它有哪些缺点?
声波灭火利用强烈的低频声波(30Hz~60Hz)阻碍氧气流入并加速热量散发,从而扑灭火源。缺点是喇叭体积较大,必须离火源较近,因为声波会迅速衰减,且只能用于零星火势,无法扑灭连片大火。
没有舷窗的飞机有什么优点?
取消舷窗可以让飞机更轻,外表更光滑,从而减少空气阻力和燃油消耗。同时,乘客可以通过液晶显示屏观看外部摄像头拍摄的景象,获得更广阔的视野。
地球上最长的视线在哪里?为什么能看到那么远?
地球上最长的视线是从吉尔吉斯斯坦的皮克丹科瓦峰(海拔约6000米)向南眺望,可以看到中国昆仑山脉深处,距离长达530公里。因为该峰向南是低洼的柴达木盆地沙漠,空气通透,再远又是海拔6000米以上的昆仑山,所以能互相眺望。