如何测试爬虫代理？

　　如何测试爬虫代理？如何测试爬虫代理？淘宝、百度找一遍，发现HTTP代理、爬虫代理、爬虫IP的产品一大堆参差不齐，只能再动手找几家看起来还行的作对比测试，现将各种产品及测试方法整理发出来，给需要采集数据的朋友参考下：

　　一、免费代理（超低收费）

　　完全免费的就不用测试了，基本上已经是万人骑，浪费时间，基础的连通性都有问题。其他低收费的比较便宜，1元几千ip随意用，来源就是对程序不断扫描出来的公开或半公开（未加密）的代理，网络稳定性差，延迟高，导致程序运行不稳定，要用这种代理，除了要做IP池管理，还要做代理IP失效实时检查，并且带宽极不稳定。找了几家测试，稳定性太差，连测试结果都做不出来，直接pass。

　　二、付费代理

　　付费代理产品也不少，各家都号称是私密家庭代理IP，都号称自营线路，关键哪里来这么多家庭IP？？？了解一翻之后，总体来说就两大类产品形态：

　　（1）URL提取文本的代理（简称API代理）

　　行话是API代理（虽然不知道为啥叫API，手动狗头），通过URL定期请求（一般从1秒-60秒间隔都有），查询获取代理信息列表，一般格式是IP:PORT，有些还带用户名和密码，使用方法差不多。程序需要定期提取代理ip信息，并且做代理ip队列管理，检测ip连通性，同时做好ip有效时间管理（有些厂家会给出代理IP时间，但是不太准确），数据采集线程运行的时候，定期从代理ip队列提取使用。这个产品使用起来稍微麻烦一点，需要做一个简单的ip池维护，当然如果要做策略比较方便管理。

　　2） 动态隧道代理（简称爬虫代理）

　　这产品的别称更多，有爬虫代理、隧道代理、动态转发等等，和api代理的区别是不需要定期从URL接口获取代理信息，可以一次性从后台提取然后配置到代码使用，爬虫程序只与一台代理服务器连接，代理服务器自动进行代理ip切换，一般是按照每个http请求自动切换一个代理ip，有些产品能照session甚至自定义ip切换。动态隧道代理使用方便，理论上爬虫程序和代理服务器之间长链接不断开，其他的都交给代理服务器做好处理。