1. 从命令行到网络世界的瑞士军刀cURL初印象如果你经常在终端里敲命令或者需要和服务器、API打交道那么cURL绝对是你绕不开的一个名字。它不是什么新潮的AI工具也不是某个复杂的图形界面软件而是一个在命令行里默默工作了二十多年的老牌工具。简单来说cURL是一个利用URL语法在命令行下工作的文件传输工具。它支持数十种协议从最常见的HTTP、HTTPS到FTP、SFTP甚至LDAP、TELNET等几乎涵盖了所有你能想到的网络传输需求。正因为其功能强大且无所不能它被开发者们亲切地称为“网络传输的瑞士军刀”。你可能已经在不知不觉中使用过它了。比如当你在网上看到一段安装命令写着curl -fsSL https://example.com/install.sh | sh时你就在使用cURL。这条命令的意思是安静地-f,-s,-S,-L的组合效果从指定的网址下载一个安装脚本然后通过管道交给sh解释器执行。很多开源软件的安装脚本都采用这种方式因为它简单、直接、跨平台。cURL的核心价值就在于它的“直接”——它绕开了浏览器让你能用最简洁的指令与网络资源直接对话这对于自动化脚本、服务器管理、API测试和调试来说是无可替代的。2. 不只是下载cURL的核心能力与协议支持很多人对cURL的第一印象是“一个下载工具”类似于命令行版的wget。这没错但只说对了一小部分。cURL的真正威力在于它是一个客户端client而“URL”中的“R”代表的是“资源定位符”。所以cURL的使命是作为客户端去定位、请求并操作位于某个URL上的资源。这个“操作”远不止下载。2.1 广泛的协议支持这是cURL的立身之本。它支持的网络协议列表长得令人惊叹HTTP/HTTPS这是最常用的。你可以发送GET、POST、PUT、DELETE等任何HTTP请求方法完全模拟一个浏览器或API客户端的行为。FTP/FTPS/SFTP上传和下载文件到FTP服务器支持断点续传、目录列表等。SCP通过SSH协议安全地复制文件。LDAP轻量级目录访问协议用于查询目录服务。IMAP/POP3/SMTP甚至可以用来检查邮箱或发送邮件虽然不常用。DICT查询字典数据库。TELNET连接Telnet服务器。这种广泛的协议支持意味着无论你的数据在哪里用什么协议提供服务cURL几乎都能帮你连上去并与之交互。2.2 作为HTTP客户端的核心功能在日常开发和运维中我们90%的时间都在用cURL处理HTTP/HTTPS请求。在这方面它提供了极其精细的控制自定义请求方法不仅仅是GET你可以轻松发起POST、PUT、PATCH、DELETE、HEAD、OPTIONS请求。请求头Header操作可以添加、修改、删除任何HTTP请求头。这对于设置认证信息如Authorization: Bearer token、指定内容类型Content-Type: application/json、模拟特定浏览器User-Agent等场景至关重要。发送请求体Body在POST或PUT请求中你可以发送表单数据、JSON、XML或纯文本等任何格式的数据。处理响应不仅可以获取响应体还可以将响应头输出到屏幕或文件方便调试。连接控制可以设置超时时间、连接超时、最大传输速度等。代理支持可以通过HTTP、HTTPS或SOCKS代理发送请求。Cookie处理可以发送、接收并保存Cookie模拟有状态的会话。SSL/TLS安全支持客户端证书、指定CA证书、忽略证书验证仅用于测试环境等。正是这些功能使得cURL成为API测试、服务健康检查、网页抓取、自动化部署脚本中不可或缺的一环。它轻量、可脚本化、输出纯净是集成到各种工作流中的理想选择。3. 从安装到第一个请求上手实践在开始挥舞这把瑞士军刀之前你需要先确保它在你手边。好消息是cURL很可能已经安装在你的系统上了。3.1 检查与安装打开你的终端Linux/macOS的TerminalWindows的PowerShell或CMD输入curl --version如果看到类似curl 7.xx.x的版本信息以及支持的协议列表那么恭喜你可以直接开始使用了。如果没有安装安装也非常简单macOS通常预装。如果没有可以通过Homebrew安装brew install curl。Linux使用包管理器。例如在Ubuntu/Debian上sudo apt update sudo apt install curl在CentOS/RHEL上sudo yum install curl或sudo dnf install curl。Windows 10/11较新版本已预装。如果没有可以从官方curl.se下载二进制文件或者通过包管理器如Chocolatey (choco install curl) 或 Scoop (scoop install curl) 安装。3.2 你的第一个cURL命令让我们从最简单的开始获取一个网页的内容。curl https://httpbin.org/get这个命令会向httpbin.org这个用于HTTP测试的网站发送一个GET请求并将服务器返回的JSON响应体直接输出到你的终端屏幕上。httpbin.org/get这个端点会回显你请求的所有信息非常适合学习和测试。你应该能看到一个JSON对象里面包含了像args: {}查询参数、headers: { ... }你的请求头、origin: “你的IP地址”、url: “...”这样的字段。这就是一次成功的HTTP交互。3.3 理解常用基础选项单纯使用curl URL是最基本的形式。但为了应对真实场景我们需要一些选项options来武装它。选项通常以单个短横线加一个字母如-o或两个短横线加一个单词如--output的形式出现。-v或--verbose详细模式这是最重要的调试选项没有之一。当你遇到问题时第一个要加的就是-v。curl -v https://httpbin.org/get加上-v后cURL会输出整个通信过程* Trying IP地址:443...解析域名并尝试连接。* Connected to httpbin.org (IP地址) port 443连接成功。 GET /get HTTP/1.1这是你发出的请求行。 Host: httpbin.org这是你发出的请求头cURL自动添加的。 User-Agent: curl/7.81.0这是你发出的请求头cURL自动添加的。 Accept: */*这是你发出的请求头cURL自动添加的。* Mark bundle as not supporting multiuseTLS握手等底层信息。 HTTP/1.1 200 OK这是服务器返回的响应行状态码。 date: Tue, 01 Jan 2024 00:00:00 GMT这是服务器返回的响应头。 content-type: application/json这是服务器返回的响应头。{ ... }响应体。 通过-v你可以清晰地看到“你到底发送了什么”以及“服务器到底返回了什么”这对于排查认证失败、头信息错误、代理问题等至关重要。-o或--output将输出保存到文件默认情况下cURL将响应体输出到“标准输出”stdout即你的屏幕。-o选项可以将其保存到指定文件。curl -o mypage.html https://www.example.com这会把example.com的首页HTML保存到当前目录的mypage.html文件中。如果下载一个大型文件这是一个标准操作。-O或--remote-name使用服务器上的文件名保存这是-o的一个智能变体。它会分析URL使用服务器端指示的文件名通常体现在URL路径的最后一部分或Content-Disposition头来命名本地文件。curl -O https://example.com/archive/software.tar.gz这条命令会下载文件并自动命名为software.tar.gz非常方便。-L或--location跟随重定向如果服务器返回的是301 Moved Permanently或302 Found这样的重定向状态码默认情况下cURL不会自动跳转到新的地址。-L选项会告诉cURL“如果被重定向了请跟着跳过去直到拿到最终内容。”这在下载文件或访问经过短链服务的URL时非常有用。curl -L https://short.url/actual-file-s或--silent静默模式此选项会让cURL不显示进度条和错误信息以外的任何内容。通常与-o或-O结合使用在脚本中避免多余输出污染日志。curl -s -o /dev/null https://health-check.example.com上面这条命令安静地访问一个健康检查接口并将输出丢弃/dev/null常用于cron定时任务中触发某个操作。-f或--fail失败时静默这是一个在脚本中极其重要的选项。默认情况下即使服务器返回一个错误状态码如404 Not Found, 500 Internal Server ErrorcURL也会将错误页面的内容如HTML输出到stdout并返回一个成功的退出码0。这不利于脚本判断请求是否真正成功。-f选项会让cURL在遇到HTTP错误时不输出错误页面内容并返回一个非零的退出码。这样在shell脚本中你可以用if curl -f ...; then ...来判断请求是否成功。4. 进阶实战模拟复杂HTTP交互掌握了基础我们就可以用cURL来模拟真实的、复杂的网络交互场景了。这才是它大显身手的地方。4.1 发送POST请求与数据向服务器提交数据比如登录表单或创建资源的API需要使用POST请求。发送表单数据application/x-www-form-urlencoded这是网页表单默认的提交格式。curl -X POST https://httpbin.org/post \ -d usernamealicepasswordsecret123-X POST指定请求方法为POST对于-dcURL默认就是POST所以有时可省略。-d或--data用于发送请求体数据。这里的字符串会被自动编码。cURL会自动设置Content-Type: application/x-www-form-urlencoded请求头。发送JSON数据application/json现代API绝大多数使用JSON格式。curl -X POST https://httpbin.org/post \ -H Content-Type: application/json \ -d {name: Alice, age: 30}-H或--header用于添加或修改请求头。这里我们明确指定内容类型为JSON。-d后面跟的是一个JSON字符串。注意在shell中JSON里的双引号需要用单引号包裹整个字符串来保护或者对内部双引号进行转义。从文件读取请求体当JSON或数据很大时可以将其保存在文件中。# 假设有一个 data.json 文件 curl -X POST https://httpbin.org/post \ -H Content-Type: application/json \ -d data.json-d filename的语法告诉cURL从指定文件中读取数据作为请求体。4.2 管理请求头与认证请求头是HTTP请求的“元数据”控制着客户端和服务器之间的许多行为。设置自定义头curl -H X-API-Key: YOUR_SECRET_KEY \ -H User-Agent: MyAwesomeApp/1.0 \ https://api.example.com/data处理认证Basic Auth最简单的HTTP基础认证。curl -u username:password https://api.example.com/protected-u选项会自动生成Authorization: Basic base64encoded头。Bearer Token (JWT等)目前API最常用的方式。curl -H Authorization: Bearer YOUR_JWT_TOKEN_HERE https://api.example.com/data4.3 处理Cookie与会话有些网站或API依赖会话来保持登录状态。cURL可以像浏览器一样处理Cookie。保存收到的Cookie到文件curl -c cookies.txt https://httpbin.org/cookies/set/sessionid/abc123-c或--cookie-jar选项会将服务器通过Set-Cookie头下发的Cookie保存到指定文件。发送Cookie给服务器curl -b cookies.txt https://httpbin.org/cookies-b或--cookie选项会从指定文件读取Cookie并在请求中自动添加Cookie头。你也可以直接用-b namevalue的形式发送单个Cookie。组合使用模拟登录会话# 1. 登录并保存服务器返回的会话Cookie curl -c session.cookie -X POST https://example.com/login \ -d useradminpassadmin # 2. 使用保存的Cookie访问需要登录的页面 curl -b session.cookie https://example.com/dashboard4.4 文件上传与下载文件上传 (POST multipart/form-data)上传文件通常使用-F选项它会将Content-Type设置为multipart/form-data。curl -X POST https://httpbin.org/post \ -F file/path/to/local/file.jpg \ -F captionMy holiday picture-F namevalue用于普通字段-F namefilepath用于文件字段。限制下载速度如果你不想占用全部带宽可以限制下载速度。curl --limit-rate 200k -O https://example.com/largefile.iso--limit-rate 200k将平均下载速度限制在每秒200KB。断点续传如果下载中断可以使用-C -选项继续。curl -C - -O https://example.com/largefile.isocURL会自动询问服务器文件已下载的部分并从断点处继续下载。5. 故障排除与常见“坑”点即使对于老手使用cURL时也会遇到各种问题。下面是一些最常见的错误及其解决方法。5.1 连接与解析问题curl: (6) Could not resolve hostcurl: (6) Could not resolve host: mirrors.rockylinux.org原因DNS解析失败。域名不存在或者你的网络DNS服务器有问题。排查先用ping mirrors.rockylinux.org或nslookup mirrors.rockylinux.org检查域名是否能解析。检查网络连接。尝试更换DNS服务器如使用8.8.8.8。临时方案如果知道IP可以用IP地址代替域名访问注意如果服务器使用基于域名的虚拟主机这可能导致访问错误。curl: (7) Failed to connect to host: Connection refused原因目标服务器的指定端口没有服务在监听。可能是服务器没启动或者端口号错了或者防火墙阻止了。排查使用telnet host port或nc -zv host port测试端口连通性。5.2 SSL/TLS证书问题这是最常遇到的问题之一尤其是在内网、自签名证书或老旧系统上。curl: (35) OpenSSL SSL_connect: Connection reset by peer / SSL_ERROR_SSLcurl: (35) OpenSSL SSL_connect: 连接被对方重置 in connection to download.docker.com:443原因SSL/TLS握手失败。原因可能很复杂服务器支持的TLS版本过低/过高如只支持老旧的SSLv3客户端和服务器加密套件不匹配或者中间有网络设备干扰了TLS握手。排查使用-v查看详细握手过程看卡在哪一步。尝试指定TLS版本--tlsv1.2或--tlsv1.3。有些老服务器需要明确指定--tlsv1.2。尝试使用--insecure或-k选项见下一条来绕过证书验证看是否是证书本身的问题。注意这仅用于测试会降低安全性。curl: (60) SSL certificate problem: self-signed certificate / unable to get local issuer certificate原因cURL无法验证服务器的SSL证书。可能是自签名证书内网常见也可能是系统缺少根证书库。解决方案按推荐顺序生产环境将服务器的根证书或中间证书添加到本地的受信任证书库或者使用--cacert选项指定CA证书文件curl --cacert /path/to/ca-bundle.crt https://internal.site。测试/开发环境使用-k或--insecure选项。这会使得连接容易受到中间人攻击绝对不要在任何涉及敏感信息的生产脚本中使用。curl -k https://internal-server-with-self-signed-cert.com5.3 HTTP错误与内容问题服务器返回4xx/5xx错误但cURL命令“成功”退出如前所述默认cURL以HTTP 200为成功。如果你需要根据HTTP状态码判断必须使用-f或--fail选项。它会将HTTP错误码视为失败并返回非零退出码。if curl -f -s -o /dev/null https://my-api.com/health; then echo API is healthy else echo API check failed 2 exit 1 fi下载的文件是乱码或HTML错误页面有时你以为在下载一个二进制文件但实际下载到的是一个HTML页面比如跳转到了登录页或错误页。排查务必先用-v和-i查看响应头。-i在输出中包含响应头。你可以看到状态码和Content-Type。curl -i -L -O https://example.com/download/software.zip检查Content-Type是否是application/zip之类的二进制类型还是text/html。如果是HTML说明你可能没有权限或者URL需要附加认证信息如Cookie、Token。5.4 代理与网络环境问题如果你处在需要代理的网络环境中cURL需要正确配置。通过HTTP/HTTPS代理curl -x http://proxy.company.com:8080 https://external-api.com-x或--proxy选项指定代理服务器地址和端口。如果代理需要认证可以使用-U user:password或直接在代理地址中包含http://user:passproxy:port。环境变量你也可以设置http_proxy、https_proxy、ftp_proxy等环境变量这样所有cURL命令都会自动使用代理。export https_proxyhttp://proxy.company.com:8080 curl https://external-api.com6. 在脚本与自动化中大放异彩cURL的终极价值在于其可脚本化。它稳定、输出纯净、退出码明确是Shell脚本、Python脚本、CI/CD流水线中的常客。6.1 与管道和其他命令协作cURL的标准输出可以轻松地传递给其他命令进行处理。# 获取JSON API数据并用jq工具解析出特定字段 curl -s https://api.github.com/users/octocat | jq .login, .public_repos # 下载一个脚本并直接执行请务必确保来源可信 curl -fsSL https://get.docker.com | sh # 检查网站是否包含某个关键词 curl -s https://example.com | grep -q Maintenance if [ $? -eq 0 ]; then echo Site might be down for maintenance. fi6.2 在Shell脚本中的最佳实践在脚本中使用cURL时可靠性是第一位的。总是使用-f(--fail)确保HTTP错误会导致脚本失败。结合-s(--silent) 和-S(--show-error)-sS组合可以在静默模式下滑错误信息如curl: (22) The requested URL returned error: 404非常适合日志记录。设置超时使用--max-time 30来设置整个操作的最大时间秒--connect-timeout 10设置连接超时避免脚本因网络问题无限挂起。将输出重定向到文件或变量# 保存到文件 curl -fsS -o response.json https://api.example.com/data # 保存到变量 api_response$(curl -fsS https://api.example.com/data) status_code$(curl -fsS -o /dev/null -w %{http_code} https://api.example.com/health)-w或--write-out选项非常强大可以输出特定变量如HTTP状态码、耗时等。处理JSON响应在Shell中处理复杂JSON比较麻烦建议配合jq工具。user_id$(curl -fsS https://api.example.com/user/me | jq -r .id)6.3 一个完整的健康检查脚本示例假设我们需要定期检查一个Web服务的健康状态并在失败时发送警报。#!/bin/bash # 配置 HEALTH_URLhttps://my-service.com/health ALERT_EMAILadmincompany.com TIMEOUT10 MAX_TIME30 # 执行健康检查 http_code$(curl -fsS -o /dev/null -w %{http_code} \ --max-time $MAX_TIME \ --connect-timeout $TIMEOUT \ $HEALTH_URL) curl_exit_status$? # 判断结果 if [ $curl_exit_status -ne 0 ]; then # curl命令本身失败网络、超时、DNS等 echo [CRITICAL] Health check failed to execute. curl exit code: $curl_exit_status | mail -s Service Health Check FAILED $ALERT_EMAIL exit 1 elif [ $http_code -ne 200 ]; then # HTTP状态码非200 echo [WARNING] Health check returned HTTP $http_code | mail -s Service Health Check WARNING $ALERT_EMAIL exit 2 else # 一切正常 echo [OK] Service is healthy. HTTP $http_code exit 0 fi这个脚本展示了如何结合-f、-s、-S、-w和超时选项构建一个健壮的自动化检查任务。7. 超越基础探索cURL的更多可能性当你熟悉了基本操作后cURL还有一些“隐藏”功能能进一步提升效率。使用配置文件 (~/.curlrc)你可以将常用的选项写入用户主目录下的.curlrc文件cURL会自动加载。例如# ~/.curlrc user-agent MyCurlClient/1.0 connect-timeout 5 max-time 30这样你每次运行curl命令都相当于默认带上了这些参数。格式化输出 (-w/--write-out)我们之前用-w %{http_code}获取状态码。它还能输出更多信息curl -w Time: %{time_total}s\nSize: %{size_download} bytes\nSpeed: %{speed_download} B/s\n -o /dev/null -s https://example.com输出类似Time: 0.345s Size: 12546 bytes Speed: 36365.217 B/s这对于性能监控和基准测试很有用。并行传输 (--parallel)较新版本的cURL支持并行下载多个URL这对于下载大量小文件很有帮助。curl --parallel --parallel-max 4 -O https://example.com/file1.zip -O https://example.com/file2.zip与API测试工具结合虽然cURL本身很强大但对于复杂的API测试工作流可以将其命令导出到Postman、Insomnia等图形化工具中或者反过来。这些工具通常都提供“生成cURL命令”的功能是学习和编写复杂cURL命令的好帮手。从我个人的经验来看cURL的熟练程度是区分命令行新手和老手的一个标志。它没有炫酷的界面但正是这种纯粹和强大让它成为了开发者工具箱里最可靠、最常被拿起的那把螺丝刀。下次当你需要快速测试一个API端点、下载一个文件或者写一个自动化的网络任务脚本时别急着打开浏览器或写一段Python代码先问问自己“用cURL是不是更简单” 很多时候答案都是肯定的。
1. 从命令行到网络世界的瑞士军刀cURL初印象如果你经常在终端里敲命令或者需要和服务器、API打交道那么cURL绝对是你绕不开的一个名字。它不是什么新潮的AI工具也不是某个复杂的图形界面软件而是一个在命令行里默默工作了二十多年的老牌工具。简单来说cURL是一个利用URL语法在命令行下工作的文件传输工具。它支持数十种协议从最常见的HTTP、HTTPS到FTP、SFTP甚至LDAP、TELNET等几乎涵盖了所有你能想到的网络传输需求。正因为其功能强大且无所不能它被开发者们亲切地称为“网络传输的瑞士军刀”。你可能已经在不知不觉中使用过它了。比如当你在网上看到一段安装命令写着curl -fsSL https://example.com/install.sh | sh时你就在使用cURL。这条命令的意思是安静地-f,-s,-S,-L的组合效果从指定的网址下载一个安装脚本然后通过管道交给sh解释器执行。很多开源软件的安装脚本都采用这种方式因为它简单、直接、跨平台。cURL的核心价值就在于它的“直接”——它绕开了浏览器让你能用最简洁的指令与网络资源直接对话这对于自动化脚本、服务器管理、API测试和调试来说是无可替代的。2. 不只是下载cURL的核心能力与协议支持很多人对cURL的第一印象是“一个下载工具”类似于命令行版的wget。这没错但只说对了一小部分。cURL的真正威力在于它是一个客户端client而“URL”中的“R”代表的是“资源定位符”。所以cURL的使命是作为客户端去定位、请求并操作位于某个URL上的资源。这个“操作”远不止下载。2.1 广泛的协议支持这是cURL的立身之本。它支持的网络协议列表长得令人惊叹HTTP/HTTPS这是最常用的。你可以发送GET、POST、PUT、DELETE等任何HTTP请求方法完全模拟一个浏览器或API客户端的行为。FTP/FTPS/SFTP上传和下载文件到FTP服务器支持断点续传、目录列表等。SCP通过SSH协议安全地复制文件。LDAP轻量级目录访问协议用于查询目录服务。IMAP/POP3/SMTP甚至可以用来检查邮箱或发送邮件虽然不常用。DICT查询字典数据库。TELNET连接Telnet服务器。这种广泛的协议支持意味着无论你的数据在哪里用什么协议提供服务cURL几乎都能帮你连上去并与之交互。2.2 作为HTTP客户端的核心功能在日常开发和运维中我们90%的时间都在用cURL处理HTTP/HTTPS请求。在这方面它提供了极其精细的控制自定义请求方法不仅仅是GET你可以轻松发起POST、PUT、PATCH、DELETE、HEAD、OPTIONS请求。请求头Header操作可以添加、修改、删除任何HTTP请求头。这对于设置认证信息如Authorization: Bearer token、指定内容类型Content-Type: application/json、模拟特定浏览器User-Agent等场景至关重要。发送请求体Body在POST或PUT请求中你可以发送表单数据、JSON、XML或纯文本等任何格式的数据。处理响应不仅可以获取响应体还可以将响应头输出到屏幕或文件方便调试。连接控制可以设置超时时间、连接超时、最大传输速度等。代理支持可以通过HTTP、HTTPS或SOCKS代理发送请求。Cookie处理可以发送、接收并保存Cookie模拟有状态的会话。SSL/TLS安全支持客户端证书、指定CA证书、忽略证书验证仅用于测试环境等。正是这些功能使得cURL成为API测试、服务健康检查、网页抓取、自动化部署脚本中不可或缺的一环。它轻量、可脚本化、输出纯净是集成到各种工作流中的理想选择。3. 从安装到第一个请求上手实践在开始挥舞这把瑞士军刀之前你需要先确保它在你手边。好消息是cURL很可能已经安装在你的系统上了。3.1 检查与安装打开你的终端Linux/macOS的TerminalWindows的PowerShell或CMD输入curl --version如果看到类似curl 7.xx.x的版本信息以及支持的协议列表那么恭喜你可以直接开始使用了。如果没有安装安装也非常简单macOS通常预装。如果没有可以通过Homebrew安装brew install curl。Linux使用包管理器。例如在Ubuntu/Debian上sudo apt update sudo apt install curl在CentOS/RHEL上sudo yum install curl或sudo dnf install curl。Windows 10/11较新版本已预装。如果没有可以从官方curl.se下载二进制文件或者通过包管理器如Chocolatey (choco install curl) 或 Scoop (scoop install curl) 安装。3.2 你的第一个cURL命令让我们从最简单的开始获取一个网页的内容。curl https://httpbin.org/get这个命令会向httpbin.org这个用于HTTP测试的网站发送一个GET请求并将服务器返回的JSON响应体直接输出到你的终端屏幕上。httpbin.org/get这个端点会回显你请求的所有信息非常适合学习和测试。你应该能看到一个JSON对象里面包含了像args: {}查询参数、headers: { ... }你的请求头、origin: “你的IP地址”、url: “...”这样的字段。这就是一次成功的HTTP交互。3.3 理解常用基础选项单纯使用curl URL是最基本的形式。但为了应对真实场景我们需要一些选项options来武装它。选项通常以单个短横线加一个字母如-o或两个短横线加一个单词如--output的形式出现。-v或--verbose详细模式这是最重要的调试选项没有之一。当你遇到问题时第一个要加的就是-v。curl -v https://httpbin.org/get加上-v后cURL会输出整个通信过程* Trying IP地址:443...解析域名并尝试连接。* Connected to httpbin.org (IP地址) port 443连接成功。 GET /get HTTP/1.1这是你发出的请求行。 Host: httpbin.org这是你发出的请求头cURL自动添加的。 User-Agent: curl/7.81.0这是你发出的请求头cURL自动添加的。 Accept: */*这是你发出的请求头cURL自动添加的。* Mark bundle as not supporting multiuseTLS握手等底层信息。 HTTP/1.1 200 OK这是服务器返回的响应行状态码。 date: Tue, 01 Jan 2024 00:00:00 GMT这是服务器返回的响应头。 content-type: application/json这是服务器返回的响应头。{ ... }响应体。 通过-v你可以清晰地看到“你到底发送了什么”以及“服务器到底返回了什么”这对于排查认证失败、头信息错误、代理问题等至关重要。-o或--output将输出保存到文件默认情况下cURL将响应体输出到“标准输出”stdout即你的屏幕。-o选项可以将其保存到指定文件。curl -o mypage.html https://www.example.com这会把example.com的首页HTML保存到当前目录的mypage.html文件中。如果下载一个大型文件这是一个标准操作。-O或--remote-name使用服务器上的文件名保存这是-o的一个智能变体。它会分析URL使用服务器端指示的文件名通常体现在URL路径的最后一部分或Content-Disposition头来命名本地文件。curl -O https://example.com/archive/software.tar.gz这条命令会下载文件并自动命名为software.tar.gz非常方便。-L或--location跟随重定向如果服务器返回的是301 Moved Permanently或302 Found这样的重定向状态码默认情况下cURL不会自动跳转到新的地址。-L选项会告诉cURL“如果被重定向了请跟着跳过去直到拿到最终内容。”这在下载文件或访问经过短链服务的URL时非常有用。curl -L https://short.url/actual-file-s或--silent静默模式此选项会让cURL不显示进度条和错误信息以外的任何内容。通常与-o或-O结合使用在脚本中避免多余输出污染日志。curl -s -o /dev/null https://health-check.example.com上面这条命令安静地访问一个健康检查接口并将输出丢弃/dev/null常用于cron定时任务中触发某个操作。-f或--fail失败时静默这是一个在脚本中极其重要的选项。默认情况下即使服务器返回一个错误状态码如404 Not Found, 500 Internal Server ErrorcURL也会将错误页面的内容如HTML输出到stdout并返回一个成功的退出码0。这不利于脚本判断请求是否真正成功。-f选项会让cURL在遇到HTTP错误时不输出错误页面内容并返回一个非零的退出码。这样在shell脚本中你可以用if curl -f ...; then ...来判断请求是否成功。4. 进阶实战模拟复杂HTTP交互掌握了基础我们就可以用cURL来模拟真实的、复杂的网络交互场景了。这才是它大显身手的地方。4.1 发送POST请求与数据向服务器提交数据比如登录表单或创建资源的API需要使用POST请求。发送表单数据application/x-www-form-urlencoded这是网页表单默认的提交格式。curl -X POST https://httpbin.org/post \ -d usernamealicepasswordsecret123-X POST指定请求方法为POST对于-dcURL默认就是POST所以有时可省略。-d或--data用于发送请求体数据。这里的字符串会被自动编码。cURL会自动设置Content-Type: application/x-www-form-urlencoded请求头。发送JSON数据application/json现代API绝大多数使用JSON格式。curl -X POST https://httpbin.org/post \ -H Content-Type: application/json \ -d {name: Alice, age: 30}-H或--header用于添加或修改请求头。这里我们明确指定内容类型为JSON。-d后面跟的是一个JSON字符串。注意在shell中JSON里的双引号需要用单引号包裹整个字符串来保护或者对内部双引号进行转义。从文件读取请求体当JSON或数据很大时可以将其保存在文件中。# 假设有一个 data.json 文件 curl -X POST https://httpbin.org/post \ -H Content-Type: application/json \ -d data.json-d filename的语法告诉cURL从指定文件中读取数据作为请求体。4.2 管理请求头与认证请求头是HTTP请求的“元数据”控制着客户端和服务器之间的许多行为。设置自定义头curl -H X-API-Key: YOUR_SECRET_KEY \ -H User-Agent: MyAwesomeApp/1.0 \ https://api.example.com/data处理认证Basic Auth最简单的HTTP基础认证。curl -u username:password https://api.example.com/protected-u选项会自动生成Authorization: Basic base64encoded头。Bearer Token (JWT等)目前API最常用的方式。curl -H Authorization: Bearer YOUR_JWT_TOKEN_HERE https://api.example.com/data4.3 处理Cookie与会话有些网站或API依赖会话来保持登录状态。cURL可以像浏览器一样处理Cookie。保存收到的Cookie到文件curl -c cookies.txt https://httpbin.org/cookies/set/sessionid/abc123-c或--cookie-jar选项会将服务器通过Set-Cookie头下发的Cookie保存到指定文件。发送Cookie给服务器curl -b cookies.txt https://httpbin.org/cookies-b或--cookie选项会从指定文件读取Cookie并在请求中自动添加Cookie头。你也可以直接用-b namevalue的形式发送单个Cookie。组合使用模拟登录会话# 1. 登录并保存服务器返回的会话Cookie curl -c session.cookie -X POST https://example.com/login \ -d useradminpassadmin # 2. 使用保存的Cookie访问需要登录的页面 curl -b session.cookie https://example.com/dashboard4.4 文件上传与下载文件上传 (POST multipart/form-data)上传文件通常使用-F选项它会将Content-Type设置为multipart/form-data。curl -X POST https://httpbin.org/post \ -F file/path/to/local/file.jpg \ -F captionMy holiday picture-F namevalue用于普通字段-F namefilepath用于文件字段。限制下载速度如果你不想占用全部带宽可以限制下载速度。curl --limit-rate 200k -O https://example.com/largefile.iso--limit-rate 200k将平均下载速度限制在每秒200KB。断点续传如果下载中断可以使用-C -选项继续。curl -C - -O https://example.com/largefile.isocURL会自动询问服务器文件已下载的部分并从断点处继续下载。5. 故障排除与常见“坑”点即使对于老手使用cURL时也会遇到各种问题。下面是一些最常见的错误及其解决方法。5.1 连接与解析问题curl: (6) Could not resolve hostcurl: (6) Could not resolve host: mirrors.rockylinux.org原因DNS解析失败。域名不存在或者你的网络DNS服务器有问题。排查先用ping mirrors.rockylinux.org或nslookup mirrors.rockylinux.org检查域名是否能解析。检查网络连接。尝试更换DNS服务器如使用8.8.8.8。临时方案如果知道IP可以用IP地址代替域名访问注意如果服务器使用基于域名的虚拟主机这可能导致访问错误。curl: (7) Failed to connect to host: Connection refused原因目标服务器的指定端口没有服务在监听。可能是服务器没启动或者端口号错了或者防火墙阻止了。排查使用telnet host port或nc -zv host port测试端口连通性。5.2 SSL/TLS证书问题这是最常遇到的问题之一尤其是在内网、自签名证书或老旧系统上。curl: (35) OpenSSL SSL_connect: Connection reset by peer / SSL_ERROR_SSLcurl: (35) OpenSSL SSL_connect: 连接被对方重置 in connection to download.docker.com:443原因SSL/TLS握手失败。原因可能很复杂服务器支持的TLS版本过低/过高如只支持老旧的SSLv3客户端和服务器加密套件不匹配或者中间有网络设备干扰了TLS握手。排查使用-v查看详细握手过程看卡在哪一步。尝试指定TLS版本--tlsv1.2或--tlsv1.3。有些老服务器需要明确指定--tlsv1.2。尝试使用--insecure或-k选项见下一条来绕过证书验证看是否是证书本身的问题。注意这仅用于测试会降低安全性。curl: (60) SSL certificate problem: self-signed certificate / unable to get local issuer certificate原因cURL无法验证服务器的SSL证书。可能是自签名证书内网常见也可能是系统缺少根证书库。解决方案按推荐顺序生产环境将服务器的根证书或中间证书添加到本地的受信任证书库或者使用--cacert选项指定CA证书文件curl --cacert /path/to/ca-bundle.crt https://internal.site。测试/开发环境使用-k或--insecure选项。这会使得连接容易受到中间人攻击绝对不要在任何涉及敏感信息的生产脚本中使用。curl -k https://internal-server-with-self-signed-cert.com5.3 HTTP错误与内容问题服务器返回4xx/5xx错误但cURL命令“成功”退出如前所述默认cURL以HTTP 200为成功。如果你需要根据HTTP状态码判断必须使用-f或--fail选项。它会将HTTP错误码视为失败并返回非零退出码。if curl -f -s -o /dev/null https://my-api.com/health; then echo API is healthy else echo API check failed 2 exit 1 fi下载的文件是乱码或HTML错误页面有时你以为在下载一个二进制文件但实际下载到的是一个HTML页面比如跳转到了登录页或错误页。排查务必先用-v和-i查看响应头。-i在输出中包含响应头。你可以看到状态码和Content-Type。curl -i -L -O https://example.com/download/software.zip检查Content-Type是否是application/zip之类的二进制类型还是text/html。如果是HTML说明你可能没有权限或者URL需要附加认证信息如Cookie、Token。5.4 代理与网络环境问题如果你处在需要代理的网络环境中cURL需要正确配置。通过HTTP/HTTPS代理curl -x http://proxy.company.com:8080 https://external-api.com-x或--proxy选项指定代理服务器地址和端口。如果代理需要认证可以使用-U user:password或直接在代理地址中包含http://user:passproxy:port。环境变量你也可以设置http_proxy、https_proxy、ftp_proxy等环境变量这样所有cURL命令都会自动使用代理。export https_proxyhttp://proxy.company.com:8080 curl https://external-api.com6. 在脚本与自动化中大放异彩cURL的终极价值在于其可脚本化。它稳定、输出纯净、退出码明确是Shell脚本、Python脚本、CI/CD流水线中的常客。6.1 与管道和其他命令协作cURL的标准输出可以轻松地传递给其他命令进行处理。# 获取JSON API数据并用jq工具解析出特定字段 curl -s https://api.github.com/users/octocat | jq .login, .public_repos # 下载一个脚本并直接执行请务必确保来源可信 curl -fsSL https://get.docker.com | sh # 检查网站是否包含某个关键词 curl -s https://example.com | grep -q Maintenance if [ $? -eq 0 ]; then echo Site might be down for maintenance. fi6.2 在Shell脚本中的最佳实践在脚本中使用cURL时可靠性是第一位的。总是使用-f(--fail)确保HTTP错误会导致脚本失败。结合-s(--silent) 和-S(--show-error)-sS组合可以在静默模式下滑错误信息如curl: (22) The requested URL returned error: 404非常适合日志记录。设置超时使用--max-time 30来设置整个操作的最大时间秒--connect-timeout 10设置连接超时避免脚本因网络问题无限挂起。将输出重定向到文件或变量# 保存到文件 curl -fsS -o response.json https://api.example.com/data # 保存到变量 api_response$(curl -fsS https://api.example.com/data) status_code$(curl -fsS -o /dev/null -w %{http_code} https://api.example.com/health)-w或--write-out选项非常强大可以输出特定变量如HTTP状态码、耗时等。处理JSON响应在Shell中处理复杂JSON比较麻烦建议配合jq工具。user_id$(curl -fsS https://api.example.com/user/me | jq -r .id)6.3 一个完整的健康检查脚本示例假设我们需要定期检查一个Web服务的健康状态并在失败时发送警报。#!/bin/bash # 配置 HEALTH_URLhttps://my-service.com/health ALERT_EMAILadmincompany.com TIMEOUT10 MAX_TIME30 # 执行健康检查 http_code$(curl -fsS -o /dev/null -w %{http_code} \ --max-time $MAX_TIME \ --connect-timeout $TIMEOUT \ $HEALTH_URL) curl_exit_status$? # 判断结果 if [ $curl_exit_status -ne 0 ]; then # curl命令本身失败网络、超时、DNS等 echo [CRITICAL] Health check failed to execute. curl exit code: $curl_exit_status | mail -s Service Health Check FAILED $ALERT_EMAIL exit 1 elif [ $http_code -ne 200 ]; then # HTTP状态码非200 echo [WARNING] Health check returned HTTP $http_code | mail -s Service Health Check WARNING $ALERT_EMAIL exit 2 else # 一切正常 echo [OK] Service is healthy. HTTP $http_code exit 0 fi这个脚本展示了如何结合-f、-s、-S、-w和超时选项构建一个健壮的自动化检查任务。7. 超越基础探索cURL的更多可能性当你熟悉了基本操作后cURL还有一些“隐藏”功能能进一步提升效率。使用配置文件 (~/.curlrc)你可以将常用的选项写入用户主目录下的.curlrc文件cURL会自动加载。例如# ~/.curlrc user-agent MyCurlClient/1.0 connect-timeout 5 max-time 30这样你每次运行curl命令都相当于默认带上了这些参数。格式化输出 (-w/--write-out)我们之前用-w %{http_code}获取状态码。它还能输出更多信息curl -w Time: %{time_total}s\nSize: %{size_download} bytes\nSpeed: %{speed_download} B/s\n -o /dev/null -s https://example.com输出类似Time: 0.345s Size: 12546 bytes Speed: 36365.217 B/s这对于性能监控和基准测试很有用。并行传输 (--parallel)较新版本的cURL支持并行下载多个URL这对于下载大量小文件很有帮助。curl --parallel --parallel-max 4 -O https://example.com/file1.zip -O https://example.com/file2.zip与API测试工具结合虽然cURL本身很强大但对于复杂的API测试工作流可以将其命令导出到Postman、Insomnia等图形化工具中或者反过来。这些工具通常都提供“生成cURL命令”的功能是学习和编写复杂cURL命令的好帮手。从我个人的经验来看cURL的熟练程度是区分命令行新手和老手的一个标志。它没有炫酷的界面但正是这种纯粹和强大让它成为了开发者工具箱里最可靠、最常被拿起的那把螺丝刀。下次当你需要快速测试一个API端点、下载一个文件或者写一个自动化的网络任务脚本时别急着打开浏览器或写一段Python代码先问问自己“用cURL是不是更简单” 很多时候答案都是肯定的。
