程序员人生网站导航

使用不同的本机IP地址访问目标网站

栏目：综合技术时间：2014-05-08 14:32:25

公司的爬虫在爬取个别网站内容时候发现目标服务器对访问频率做了限制，这样只能限制爬虫访问的频率，造成了信息的滞后和数量始终上不去。于是就研究能不能让访问请求依次通过不同的IP地址访问目标服务器来增大访问的频率。让爬虫在不同的服务器上运行，这是另外一种解决思路，涉及到分布式爬虫的很多问题，不在本文讨论范围内。

Google搜索了半天，找到了一些蛛丝马迹，发现Socket.Bind方法理论上可行。接下来就想如何干涉HttpWebRequest的这个过程。一路查看HttpWebRequest的源代码，果然在ServicePoint中找到了BindIPEndPointDelegate属性，这个属性是一个名为BindIPEndPoint的代理，签名如下：

public delegate IPEndPoint BindIPEndPoint(ServicePoint servicePoint, IPEndPoint remoteEndPoint, int retryCount);

通过设置这个属性，可以在发出连接的时候绑定客户端发出连接所使用的IP地址。

一个简单的示例程序：

class MyWebClient : WebClient
{
IPEndPoint m_OutIPEndPoint;
MyWebClient(IPEndPoint outIp)
{
if (outIp == null)
throw new ArgumentNullException("outIp");

m_OutIPEndPoint = outIp;
CachePolicy = new RequestCachePolicy(RequestCacheLevel.NoCacheNoStore);
}

protected override WebRequest GetWebRequest(Uri address)
{
var request = (HttpWebRequest)base.GetWebRequest(address);
request.ServicePoint.BindIPEndPointDelegate = (servicePoint, remoteEndPoint, retryCount) =>
{
return m_OutIPEndPoint;
};
return request;
}

public static void Run()
{
MyWebClient client2 = new MyWebClient(new IPEndPoint(IPAddress.Parse("192.168.1.105"), 0));
Console.WriteLine(client2.DownloadString("http://192.168.1.15:8000/Default.asp"));
client2.Dispose();
Thread.Sleep(ServicePointManager.MaxServicePointIdleTime);
MyWebClient client = new MyWebClient(new IPEndPoint(IPAddress.Parse("192.168.1.204"), 0));
Console.WriteLine(client.DownloadString("http://192.168.1.15:8000/"));
client.Dispose();
}
}

我在本机的网卡绑定了2个IP地址，192.168.1.105和192.168.1.204.而http://192.168.1.15:8000/Default.asp是我写的一个测试页面，只输出客户端请求的IP地址。请注意，其中有一行Thread.Sleep(ServicePointManager.MaxServicePointIdleTime);如果没有加入这行，你会得到两行192.168.1.105的结果，在代理那行（return m_OutIPEndPoint;）加入断点会发现只命中了一次。加入这行以后会得到192.168.1.105和192.168.1.204这个期望的结果.

原因就得从ServicePointManager说起，这个类缓存了ServicePoint，代表了到目标的连接。只要这个连接已经存在，出去的IP地址就已经确定了，所以不会再调用BindIPEndPointDelegate来获取出去的IP地址。加入了Thread.Sleep这行代码，只是等待这个连接释放，这样再次访问页面时候就会重新建立连接，从新绑定出去的IP地址了。这样做只是为了验证本文的目的。

当然这个示例程序没有办法真正工作，因为爬虫不可能休眠这么长时间，也不可能把ServicePointManager.MaxServicePointIdleTime设置为很短的时间，虽然实现了目的，但是降低了效率。这个示例程序只是揭示了使用不同IP地址访问目标服务器的可能性和实现途径。

出处：http://www.cnblogs.com/cesium/

------分隔线----------------------------

上一篇 Apache中虚拟目录和默认首页的设置

下一篇 JavaScript中的字符串乘法

------分隔线----------------------------