Linux请求页面:wget、curl, 修改请求包。 X-Forwarded-For

一、wget、curl介绍

1.1 wget

wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理。wget名称的由来是”World Wide Web”与”get”的结合。

下载页面:

wget -r -p -k -np -t 5 http://hao.360.cn

1.2 curl

curl是利用URL语法在命令行方式下工作的开源文件传输工具。它被广泛应用在Unix、多种Linux发行版中,并且有DOS和Win32、Win64下的移植版本。

二、wget、curl简单使用

2.1 wget

wget www.baidu.com

2.2 curl

curl www.baidu.com

三、wget、curl修改请求包

3.1 wget

wget -d http://www.baidu.com/ –header “X-Forwarded_For: 211.100.19.167” -e http_proxy=192.168.10.234 -O /dev/null

1. 请求页面:http://www.baidu.com/ 。

2. 向请求数据包中添加”X-Forwarded-For: 211.100.19.167″。

3. 并指定到192.168.10.234,去访问http://www.baidu.com/。(相当于配了/etc/Hosts)。

3.2 curl

curl http://192.168.10.234/ -H “X-Forwarded-For: 211.100.19.167” -H “Host: www.baidu.com”

1. 请求页面:http://192.168.10.234/。

2. 向请求数据包中添加”X-Forwarded-For: 211.100.19.167″。

3. 将Host由”Host: 192.168.10.234″改为”Host: www.baidu.com”。

四、X-Forwarded-For

X-Forwarded-For后面的IP,代表客户端的IP地址。

客户端访问代理服务器,代理服务器再去访问真实的服务器。这时真实服务器收到包的源IP,是代理的IP,不是客户端的IP,所以就使用 X-Forwarded-For指明真实的IP。

资料:http://zh.wikipedia.org/wiki/X-Forwarded-For