GNU Wget 是一个功能强大的命令行工具，用于从Web服务器下载文件。它支持HTTP、HTTPS和FTP协议，并且可以在Linux、Windows和macOS等多种操作系统上运行。在这里，我们将深入探讨一些使用GNU Wget的高级技巧，以帮助你更高效地进行文件下载：

1. 递归下载网站内容

为了下载一个完整的网站或特定网页及其所有资源，你可以使用递归下载功能。递归下载允许你下载一个网页以及该网页链接到的所有页面和资源。

wget --recursive --no-clobber --page-requisites --html-extension URL  

• --recursive：递归下载。
• --no-clobber：避免覆盖已存在的文件。
• --page-requisites：下载页面所需的所有文件（CSS、图像等）。
• --html-extension：将保存的HTML文件以.html为扩展名。

2. 控制下载速度

有时候，为了避免占用过多带宽或服务器资源，你可能需要限制下载速度。

wget --limit-rate=200k URL  

• --limit-rate=200k：将下载速度限制为200KB/s。

3. 下载指定文件类型

如果你只想下载某种类型的文件（例如图片或文档），可采用如下策略：

wget --recursive --accept=jpg,png --no-parent URL  

• --accept=jpg,png：只下载.jpg和.png文件。
• --no-parent：不下载父目录。

4. 断点续传

下载大文件时可能会遇到中断的情况。Wget 支持断点续传功能，可以从中断的地方继续下载。

wget -c URL  

• -c 或 --continue：继续未完成的下载。

5. 使用代理服务器

通过代理服务器下载文件可以隐藏你的真实IP或者应对网络限制。

wget -e use_proxy=yes -e http_proxy=proxyserver:port URL  

• -e use_proxy=yes：启用代理。
• -e http_proxy=proxyserver:port：设置HTTP代理服务器。

6. 设置Referer和User-Agent

为了模仿特定浏览器的请求或访问需要特定Referer的资源，你可以自定义这些HTTP请求头。

wget --referer=http://example.com --user-agent="Mozilla/5.0" URL  

• --referer=http://example.com：设置请求的Referer。
• --user-agent="Mozilla/5.0"：设置User-Agent头。

7. 使用密码进行身份验证

一些网站需要身份验证，Wget 也可以处理这些请求。

wget --user=username --password=password URL  

• --user=username和--password=password：用于提供必要的身份认证信息。

8. 自动重试失败的下载

下载过程中可能会遇到网络不稳定的情况，使用自动重试功能可以提高下载成功率。

wget --tries=10 URL  

• --tries=10：将重试次数设置为10次。

9. 下载日志记录

为方便监控和调试，有时需要记录下载日志。

wget -o download.log URL  

• -o download.log：将所有输出记录到download.log文件中。

10. 使用输入文件下载多个URL

如果你有一个包含多个下载链接的文件，可以使用以下命令下载所有文件：

wget -i file_with_urls.txt  

• -i file_with_urls.txt：从file_with_urls.txt中读取URL进行下载。

通过使用这些高级技巧，GNU Wget可以帮助你在多种情况下高效下载文件，无论是个人使用还是集成到复杂的自动化任务中。