爬虫代理IP怎么用

　　爬虫代理IP怎么？用听说过爬虫的人应该都知道，抓的网站和数据多了，如果爬虫抓取速度过快，很多网站防爬机制总是会碰上的，几乎用的同一招就是封IP。解决方案有2个：

　　1、同一IP，放慢速度(爬取速度慢)

　　2、使用代理IP访问(推荐)

　　第一种方案需要的就是时间和速度，来换取数据，但是一般情况下我们的时间是是有限的，理想情况下是用最短的时间获取最多的数据。所以第二种方案是推荐的，那么从哪里能找到这么多代理IP呢？

　　寻找代理

　　程序不懂的时候就去寻找，google、百度，输入关键字：免费代理IP，打开后观察发现，几乎都是一个列表页。

　　但是仔细观察就会发现，每个网站提供的免费IP还是有限的，用了之后就会发现，有的已经没有用了，很多都是付费的。

　　只需要用搜索引擎去找免费IP，每个网站提供几十或几百个，假如10家网站，那加在一起也有几百到几千个IP。

　　可以记录下来这些网站，用程序把IP抓过来就好了，做起来还是有点麻烦的。

　　测试代理

　　通过刚才的方式，应该可以获得几百或上千的代理IP了。

　　IP就是免费的吗？当然不是，这些代理中有很多事已经没有用了。如何判断哪些代理是有效，哪些是不可用的呢？

　　挂上这些代理，再去找一个稳定的网站，如果可以正常访问就是可用的，不能访问的不就是已经没有用了。

　　当然，这种方式只是为了演示方便，实际最好的方式是：

　　用多线程方式，使用代理去访问某个网站，然后输出可用的代理。

　　这样做能最快速的找出可用代理。