内容提要
Anthropic将Files API和计算机工具集从测试版转为正式版,允许开发者上传文件一次后通过ID引用,而非每次粘贴内容。测试对比了上传、粘贴和提示缓存三种方式,发现Files API不节省成本,而提示缓存可将输入令牌降至约三分之一,但需注意缓存过期和请求结构调整。
延伸解读
Files API 与粘贴:成本持平,但管理更优
实测显示,Files API 与直接粘贴在输入令牌数上几乎相同,甚至略高(每请求约多25令牌)。其真正优势在于文档管理:一次上传后通过ID引用,避免在代码中嵌入长文本,且支持PDF、图片等无法粘贴的格式,并允许设置过期时间。因此,若主要痛点是文件管理而非成本,Files API 是合适选择。
提示缓存才是降本关键
在相同工作负载下,提示缓存将计费输入令牌降至粘贴方式的约三分之一,因为首次请求写入缓存后,后续请求以约十分之一的费率读取。但需注意缓存仅5分钟有效,要求请求持续不断;同时需将文档移至系统提示并添加缓存标记,调整请求结构。若成本敏感且流量稳定,提示缓存是更优方案。
按场景选择:原型开发与动态文档仍宜粘贴
对于一次性调用或原型开发,粘贴更简单,无需上传步骤或管理文件ID。若文档内容每次请求都变化,则缓存和文件复用均无意义,粘贴仍是首选。此外,短文档(低于1024令牌)无法缓存,也限制了提示缓存的适用性。因此,应根据具体场景权衡功能,而非盲目采用新特性。
Q&A
Anthropic的Files API和计算机工具集何时从测试版转为正式版?
Anthropic于8月19日将Files API和计算机工具集从测试版转为正式版,并推出了浏览器工具集。
Files API的主要功能是什么?
Files API允许开发者上传文档一次,然后通过文件ID在后续请求中引用,而不是每次请求都发送文档内容。
Files API与粘贴文档在成本上相比如何?
在成本上,Files API并不比粘贴文档节省。测试中,Files API每次请求仍会处理文档内容,且每次请求增加约25个输入令牌的开销,因此上传一次反而比粘贴多花费125个输入令牌(5次请求)。
提示缓存如何降低输入令牌成本?
提示缓存将文档作为缓存写入,首次请求以2,990个令牌写入缓存(有25%溢价),后续请求从缓存读取,缓存读取费用约为正常输入令牌的十分之一。在测试中,5次请求的总输入令牌约为粘贴方式的三分之一。
使用提示缓存有哪些注意事项?
提示缓存的注意事项包括:缓存会在5分钟不活动后过期,因此需要请求持续稳定;需要将文档放入系统提示并添加缓存标记来重构请求;文档长度需超过1,024个令牌才能被缓存(大多数模型)。
在什么情况下应该使用Files API?
当问题在于文件本身时,应使用Files API。例如,需要处理无法粘贴的格式(如PDF、图片),希望避免文档文本存在于代码中,或需要管理文件过期设置。
在什么情况下应该使用提示缓存?
当问题在于为每个请求支付相同文档的费用时,应使用提示缓存。它可以将输入令牌成本降低到约三分之一,且后续请求越多,节省越多。
在什么情况下粘贴文档仍然是最佳选择?
在原型开发或一次性调用时,粘贴文档更简单,因为无需上传步骤。此外,如果文档每次请求都会变化,没有可复用的内容,粘贴也是最佳选择。