使用 wget/curl 仅在文件更改时下载

使用 wget/curl 仅在文件更改时下载

💡 原文英文,约1400词,阅读约需6分钟。
📝

内容提要

本文介绍了如何使用wget或curl进行文件下载时的条件请求。通过使用HTTP协议的头部信息中的Last-Modified和ETag字段,可以判断文件是否发生变化,从而避免重复下载。wget和curl都支持条件请求,但curl更强大,可以使用ETag进行判断。条件请求在CDN网络中广泛应用,可以节省网络流量。

🔎

延伸解读

条件请求的两种机制:Last-Modified 与 ETag

文章指出,Last-Modified 适合静态文件,因为其修改时间稳定;而动态生成的资源每次修改时间可能变化,此时应使用 ETag。ETag 可视为内容版本号,只要内容不变,ETag 就不变。客户端通过 If-Modified-Since 或 If-None-Match 头发起条件请求,服务器返回 304 表示无需下载。理解这两种机制的适用场景,有助于在实际下载任务中选择正确的头部字段。

wget 的 -N 选项与 -O 选项不兼容

使用 wget 时,-N 选项会启用时间戳检查,发送 If-Modified-Since 头,服务器返回 304 时跳过下载。但文章强调,-N 不能与 -O 同时使用,因为 -O 指定保存文件名后,wget 无法获取本地文件的修改时间,导致每次都会完整下载。因此,若坚持用 wget 做条件请求,应避免使用 -O,让 wget 按 URL 基名保存文件。

curl 支持 ETag 但需额外存储

curl 的 -z 选项可基于本地文件修改时间实现条件请求,类似 wget 的 -N。此外,curl 还支持 ETag:通过 --etag-save 将服务器返回的 ETag 保存到文件,再用 --etag-compare 读取该文件并发送 If-None-Match 头。但文章提醒,一个 ETag 文件只能存储一个 URL 的值,下载多个文件时需为每个文件指定不同的存储文件,否则会混淆。

条件请求在 CDN 中的实际价值

文章提到,HTTP 条件请求在 CDN 网络中广泛应用,用于节省网络流量。CDN 边缘节点可借助条件请求判断缓存是否新鲜,避免回源下载完整内容。对于内容很少变化的文件(如示例中的 tiktoken 文件),客户端使用条件请求能显著减少重复传输。不过,文章也暗示,若文件频繁变化,条件请求的收益会降低,因为服务器仍会返回新内容。

❓

Q&A

HTTP条件请求是什么,它如何帮助避免重复下载文件?

HTTP条件请求允许客户端在特定条件下获取远程资源。通过发送包含Last-Modified或ETag的请求头,服务器会检查资源是否已修改。如果未修改,服务器返回304 Not Modified,客户端便可以使用本地缓存,从而避免重复下载,节省网络流量。

Last-Modified和ETag有什么区别,分别适用于什么场景?

Last-Modified表示文件最后修改时间,适用于静态文件,因为静态文件修改时间会变化。ETag是资源内容的版本标识,只要内容不变ETag就不变,因此适用于动态生成的资源,避免因每次生成时间不同而误判为已修改。

如何使用wget进行条件下载?有什么注意事项?

使用wget的-N选项(时间戳检查)可以发起条件请求,wget会发送If-Modified-Since头,若文件未修改则服务器返回304,wget跳过下载。注意-N不能与-O选项同时使用,因为-O指定保存文件名会导致wget无法获取本地文件的修改时间,从而总是下载整个文件。

curl如何基于Last-Modified实现条件下载?

使用curl的-z选项指定一个本地文件,curl会读取该文件的修改时间作为If-Modified-Since头发送。如果远程文件未修改,服务器返回304,curl不会下载内容。例如:curl -s -z localfile URL -o localfile。

curl如何使用ETag进行更精确的条件请求?

curl通过--etag-save选项将服务器返回的ETag保存到文件,然后使用--etag-compare选项指定该文件,curl会发送If-None-Match头。若ETag匹配,服务器返回304,避免下载。注意每个URL需要单独的ETag存储文件。

为什么说curl比wget更适合条件下载?

因为curl不仅支持基于Last-Modified的条件请求(-z选项),还支持基于ETag的条件请求(--etag-save和--etag-compare),能更精确地判断内容是否变化,尤其适合动态资源。而wget仅支持基于时间戳的条件请求,且-N与-O不兼容。

条件请求在CDN网络中有什么应用?

条件请求在CDN网络中广泛用于节省网络流量。CDN边缘节点可以通过条件请求验证缓存内容是否新鲜,若未修改则直接返回304,避免回源下载,从而减少带宽消耗和延迟。

🏷️

标签

➡️

继续阅读