动态爬虫代理，究竟什么是HTTP代理？

什么是HTTP代理ip?通俗的来说，就是换ip的。

大部分人都知道，在运用网络爬虫多次爬取同一网站时，经常会被网站的ip反网络爬虫机制给禁掉，为了解决封禁 ip 的问题通常会运用代理ip。

但也有一部分人在HTTP代理ip的运用上存在着误解，他们认为运用了代理ip就能解决一切问题，然而实际上代理ip不是万能的，它只是一个工具，如果运用不当，一样会被封ip。

代理ip分三种类型：透明代理、普通匿名代理、高级匿名代理。

高匿、匿名和透明代理的主要区别在于对方服务器获取REMOTE_ADDR、HTTP_X_FORWARDED_FOR、HTTP_VIA三个参数的区别。

众所周知，REMOTE_ADDR是无法伪造的。运用透明代理(Transparent)，对方服务器知道你运用了代理，也知道你的真实ip。REMOTE_ADDR = Proxyip，HTTP_VIA = Proxyip，HTTP_X_FORWARDED_FOR = Yourip

运用匿名代理(Anonymous)，对方服务器知道你运用了代理，但不知道你的真实ip。REMOTE_ADDR = Proxyip，HTTP_VIA = Proxyip，HTTP_X_FORWARDED_FOR = Proxyip

运用高匿名代理(High)，对方服务器不知道你运用了代理，也不知道你的真实ip。REMOTE_ADDR = Proxyip，HTTP_VIA = NULL，HTTP_X_FORWARDED_FOR = NULL

运用透明代理和普通匿名代理会被目标网站得知运用了代理ip，自然会受到限制，高级匿名代理则不会，所以在选择代理ip的时候，要注意这一点。

运用一个代理ip爬取目标网站，被封ip的因素太多，比如cookie，比如User Agent等等，当达到了阈值后，ip就会被封;当访问目标网站的频率过快时，ip也会被封，因为人类正常访问远远达不到那个频率，自然会被目标网站的反网络爬虫策略识别。

只有尽量地模拟真实运用者正常访问，才能最大程度地避免被封ip。黑洞HTTP代理提供海量ip资源，可以多线程同时进行工作，不限并发数，工作效率翻倍，性价比极高，这才是运用代理ip网络爬虫采集的正确打开方式!