curl是最流行的web请求工具,3大主流操作系统带有curl,一些手机移动端系统也提供了curl,通过命令行下载文件和发起网页请求,简单好用YYDS!
curl 是一种从服务器传输数据或向服务器传输数据的工具,使用的协议包括 协议(DICT、FILE、FTP、FTPS、GOPHER、HTTP、HTTPS、IMAP、 imaps、ldap、ldaps、pop3、pop3s、rtmp、rtsp、scp、sftp、smtp、smtps、 TELNET 和 TFTP)。该命令无需用户干预。
curl 提供了大量有用的功能,如支持代理、用户授权、访问FTP和TFTP上传下载、HTTP请求、SSL 连接、携带Cookie、文件传输断点续传、Metalink请求等。正如你在下文中看到的,curl支持的功能可谓大而全。
curl还提供了libcurl,以库的形式封装了所有与传输相关的功能。
curl 的用法规则
curl 命令允许您在 Linux 中通过命令行下载和上传数据。其语法如下:
curl [options] [URL...]
可通过curl --help 命令,就像大部分其他命令的--help那样,可以自助查询该命令的常见参数:
-d, --data HTTP POST 数据
-f, --fail HTTP错误时安静地失败(完全不打印错误)
-h, --help 获取命令帮助
-i, --include 在输出中包含协议响应标头
-o, --output 输出写入到文件而不是 stdout
-O, --remote-name 将输出写入名为远程文件的文件中
-s, --安静模式
-T,--upload-file 将本地文件传输到目的地
-u, --user 服务器用户和密码
-A、--user-agent 发送 User-Agent 到服务器
-v,--verbose 使操的作反馈更加详尽显示
-V, --version 显示版本号
--help值显示部分参数。curl还支持很多高级功能,Linux下可通过:
man curl
命令查看完整的帮助文档对curl所有参数的解释(例如跟随重定向的-L参数,只在man curl 的完整帮助信息中有显示 )。
通过下面的例子,你可以更直观地了解curl的常见功能是如何工作的。
问题1:curl 命令如何工作?
curl的基本用法相当简单 —— 只需将 URL 作为输入传递给 curl 命令,然后将输出重定向到文件即可。
例如,将下载的文件数据保存为本地的ubuntu2204-64.torrent文件:
curl https://mirrors.aliyun.com/ubuntu-releases/23.04/ubuntu-23.04-desktop-amd64.iso.torrent > ubuntu2204-64.torrent
请注意,您也可以在此处使用 -o 选项(作为对比,linux的另一个著名下载工具wget的参数是-O,大O,而curl的是小o)。
-o, --output
Write output to instead of stdout.
回到我们的示例,当数据下载到系统上的ubuntu2204-64.torrent文件中时,在命令行上生成了以下输出:
在操作过程中,curl 通常会显示进度表,显示传输的数据量、传输速度和预计剩余时间等。
默认情况下,curl 会将这些数据显示到终端。但如果你调用curl进行文件下载或显示下载内容到终端, 就会不显示进度表,以免把进度表和响应数据混在一起,扰乱输出。
如果你想在 HTTP POST 或 PUT 请求中使用进度表,你需要 使用 shell 重定向 (>)、-o [文件]或其他类似方法,就可以将输出和显示分离。例如:
$ curl https://linuxlibs.com > linuxlibs.html
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2443 100 2443 0 0 16981 0 --:--:-- --:--:-- --:--:-- 17083
FTP 上传的情况则不同,因为该操作不会向终端显示任何响应数据。
问题2:如何使用 curl 下载多个文件?
只需按以下方式传递 URL:
curl -O [URL1] -O [URL2] -O [URL3] ...
下载时显示的进度条会包含多个文件的下载进度:
问题3:如何解决请求地址转移/重定向问题?
当你用curl 请求一些网站的 URL 时,可能会收到“已转移”(301 Moved)或“永久重定向(301 Moved Permanently)”等提示。这通常发生在访问的 URL 被重定向到其他 URL 时。例如,您打开一个网站(如 curl -I https://bing.com),它会显示重定向到你所在国家/地区的 URL(如 https://cn.bing.com)。
$ curl -I https://bing.com
HTTP/2 301
content-length: 0
location: https://cn.bing.com/
accept-ch: Sec-CH-UA-Arch, …… Sec-CH-UA-Platform-Version
x-msedge-ref: Ref A: ……
date: …… Dec 2023 ……
如果希望 curl 跟随重定向,请改用 -L 命令行选项。
问题4:curl在下载文件中断后,如何继续从中断点恢复下载(断点续传)?
有时,下载会在两者之间中断。为了节省时间和数据,你希望再次尝试时,能从中断的点开始。Curl 允许你使用 -C 命令行选项来执行此操作。例如:
curl -C - -O http://releases.ubuntu.com/18.04/ubuntu-18.04-desktop-amd64.iso
图显示了 curl 命令在中断后恢复下载。
问题5:curl如何模拟浏览器发起下载请求,将请求结果保存到linuxlibs.index.html文件:
curl --user-agent "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.61" -o linuxlibs.index.html https://linuxlibs.com
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 36960 0 36960 0 0 13719 0 --:--:-- 0:00:02 --:--:-- 13719