内容提要
本文介绍了如何使用wget或curl进行文件下载时的条件请求。通过使用HTTP协议的头部信息中的Last-Modified和ETag字段,可以判断文件是否发生变化,从而避免重复下载。wget和curl都支持条件请求,但curl更强大,可以使用ETag进行判断。条件请求在CDN网络中广泛应用,可以节省网络流量。
延伸解读
条件请求的两种机制:Last-Modified 与 ETag
文章指出,Last-Modified 适合静态文件,因为其修改时间稳定;而动态生成的资源每次修改时间可能变化,此时应使用 ETag。ETag 可视为内容版本号,只要内容不变,ETag 就不变。客户端通过 If-Modified-Since 或 If-None-Match 头发起条件请求,服务器返回 304 表示无需下载。理解这两种机制的适用场景,有助于在实际下载任务中选择正确的头部字段。
wget 的 -N 选项与 -O 选项不兼容
使用 wget 时,-N 选项会启用时间戳检查,发送 If-Modified-Since 头,服务器返回 304 时跳过下载。但文章强调,-N 不能与 -O 同时使用,因为 -O 指定保存文件名后,wget 无法获取本地文件的修改时间,导致每次都会完整下载。因此,若坚持用 wget 做条件请求,应避免使用 -O,让 wget 按 URL 基名保存文件。
curl 支持 ETag 但需额外存储
curl 的 -z 选项可基于本地文件修改时间实现条件请求,类似 wget 的 -N。此外,curl 还支持 ETag:通过 --etag-save 将服务器返回的 ETag 保存到文件,再用 --etag-compare 读取该文件并发送 If-None-Match 头。但文章提醒,一个 ETag 文件只能存储一个 URL 的值,下载多个文件时需为每个文件指定不同的存储文件,否则会混淆。
条件请求在 CDN 中的实际价值
文章提到,HTTP 条件请求在 CDN 网络中广泛应用,用于节省网络流量。CDN 边缘节点可借助条件请求判断缓存是否新鲜,避免回源下载完整内容。对于内容很少变化的文件(如示例中的 tiktoken 文件),客户端使用条件请求能显著减少重复传输。不过,文章也暗示,若文件频繁变化,条件请求的收益会降低,因为服务器仍会返回新内容。
Q&A
HTTP条件请求是什么,它如何帮助避免重复下载文件?
HTTP条件请求允许客户端在特定条件下获取远程资源。通过发送包含Last-Modified或ETag的请求头,服务器会检查资源是否已修改。如果未修改,服务器返回304 Not Modified,客户端便可以使用本地缓存,从而避免重复下载,节省网络流量。
Last-Modified和ETag有什么区别,分别适用于什么场景?
Last-Modified表示文件最后修改时间,适用于静态文件,因为静态文件修改时间会变化。ETag是资源内容的版本标识,只要内容不变ETag就不变,因此适用于动态生成的资源,避免因每次生成时间不同而误判为已修改。
如何使用wget进行条件下载?有什么注意事项?
使用wget的-N选项(时间戳检查)可以发起条件请求,wget会发送If-Modified-Since头,若文件未修改则服务器返回304,wget跳过下载。注意-N不能与-O选项同时使用,因为-O指定保存文件名会导致wget无法获取本地文件的修改时间,从而总是下载整个文件。
curl如何基于Last-Modified实现条件下载?
使用curl的-z选项指定一个本地文件,curl会读取该文件的修改时间作为If-Modified-Since头发送。如果远程文件未修改,服务器返回304,curl不会下载内容。例如:curl -s -z localfile URL -o localfile。
curl如何使用ETag进行更精确的条件请求?
curl通过--etag-save选项将服务器返回的ETag保存到文件,然后使用--etag-compare选项指定该文件,curl会发送If-None-Match头。若ETag匹配,服务器返回304,避免下载。注意每个URL需要单独的ETag存储文件。
为什么说curl比wget更适合条件下载?
因为curl不仅支持基于Last-Modified的条件请求(-z选项),还支持基于ETag的条件请求(--etag-save和--etag-compare),能更精确地判断内容是否变化,尤其适合动态资源。而wget仅支持基于时间戳的条件请求,且-N与-O不兼容。
条件请求在CDN网络中有什么应用?
条件请求在CDN网络中广泛用于节省网络流量。CDN边缘节点可以通过条件请求验证缓存内容是否新鲜,若未修改则直接返回304,避免回源下载,从而减少带宽消耗和延迟。