前言
大家都知道，在Linux Shell中提供两个非常实用的命令来爬取网页，它们分别是 curl 和 wget，本文将给大家详细介绍关于在Linux Shell中curl和wget使用代理IP的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看吧。
curl 和 wget 使用代理
- curl 支持 http、https、socks4、socks5
- wget 支持 http、https
代理示例：
#!/bin/bash## curl 支持 http、https、socks4、socks5# wget 支持 http、https## 米扑代理示例：# http://proxy.mimvp.com/demo2.php## 米扑代理购买：# http://proxy.mimvp.com## mimvp.com# 2015-11-09 # http代理格式 http_proxy=http://IP:Port# https代理格式 https_proxy=http://IP:Port {
'http': 'http://120.77.176.179:8888'}
curl -m 30 --retry 3 -x http://120.77.176.179:8888 http://proxy.mimvp.com/exist.php # http_proxywget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http://proxy.mimvp.com/exist.php # http_proxy {
'https': 'http://46.105.214.133:3128'}
curl -m 30 --retry 3 --proxy-insecure -x http://46.105.214.133:3128 -k https://proxy.mimvp.com/exist.php # https_proxywget -T 30 --tries 3 --no-check-certificate -e "https_proxy=http://46.105.214.133:3128" https://proxy.mimvp.com/exist.php # https_proxy # curl 支持socks{
'socks4': '101.255.17.145:1080'}
curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http://proxy.mimvp.com/exist.php {
'socks5': '82.164.233.227:45454'}
curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http://proxy.mimvp.com/exist.php # wget 不支持socks
wget 配置文件设置代理
vim ~/.wgetrc http_proxy=http://120.77.176.179:8888:8080https_proxy=http://12.7.17.17:8888:8080use_proxy = onwait = 30 wget -T 30 --tries 3 http://proxy.mimvp.com
Shell 设置临时局部代理
# proxy no authexport http_proxy=http://120.77.176.179:8888:8080export https_proxy=http://12.7.17.17:8888:8080 # proxy authexport http_proxy=http://username:password@120.77.176.179:8888:8080export https_proxy=http://username:password@12.7.17.17:8888:8080 # 取消设置unset http_proxyunset https_proxy
Shell 设置系统全局代理
# 修改 /etc/profile，保存并重启服务器sudo vim /etc/profile # 所有人有效或sudo vim ~/.bashrc # 所有人有效或vim ~/.bash_profile # 个人有效 # proxy no authexport http_proxy=http://120.77.176.179:8888:8080export https_proxy=http://12.7.17.17:8888:8080 # proxy authexport http_proxy=http://username:password@120.77.176.179:8888:8080export https_proxy=http://username:password@12.7.17.17:8888:8080 source /etc/profile或source ~/.bashrc或source ~/.bash_profile sudo reboot
米扑代理示例
米扑代理示例，包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易语言等十多种编程语言或脚本，通过大量的可运行实例，详细讲解了使用代理IP的正确方法，方便网页爬取、数据采集、自动化测试等领域。
米扑代理示例，测试使用的代理IP，全部来自于米扑代理，其覆盖120多个国家，中国34个省市，支持http、https、socks4、socks5等
米扑代理示例官网 ：http://proxy.mimvp.com/demo2.php
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。
