IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

PHP定时验证代理IP的可用性

发布时间:2019年03月20日 来源:互联网

上一篇文章给大家介绍了如何使用PHP做一个小型网络爬虫,今天就利用上次爬到的代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言,我也不知道,听别人说的,我个人比较喜欢java,以后有机会与大家分享我的学习之路。


我们为什么需要对代理IP进行验证呢?要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。


首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。


由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。


//代理IP验证方法 function GetHttpStatusCode($proxy){ $curl = curl_init(); curl_setopt ($curl, CURLOPT_PROXY, $proxy);//使用代理访问 curl_setopt($curl,CURLOPT_URL,"http://www.baidu.com");//获取内容url curl_setopt($curl,CURLOPT_HEADER,1);//获取http头信息 curl_setopt($curl,CURLOPT_NOBODY,1);//不返回html的body信息 curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);//返回数据流,不直接输出 curl_setopt($curl,CURLOPT_TIMEOUT,5); //超时时长,单位秒 curl_exec($curl); $rtn= curl_getinfo($curl,CURLINFO_HTTP_CODE); curl_close($curl); return $rtn; }


调用GetHttpStatusCode(代理IP地址:端口)方法就能返回该代理IP在访问百度首页时所返回的状态码,在需要的地方对状态码进行判断就能加以利用了。


PHP定时验证代理IP的可用性

我在数据表中加入了抓取到代理IP的时间和代理IP被验证的时间,已经存活的时间,这样代理IP的稳定性就一目了然了。


PHP定时验证代理IP的可用性

这是验证后的结果,整整100个IP,最后就剩下10个左右,看来在使用之前对代理IP进行验证还是很有必要的。


相关文章内容简介

1 PHP定时验证代理IP的可用性

上一篇文章给大家介绍了如何使用PHP做一个小型网络爬虫,今天就利用上次爬到的代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言,我也不知道,听别人说的,我个人比较喜欢java,以后有机会与大家分享我的学习之路。我们为什么需要对代理IP进行验证呢?要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。//代理IP验证方法 function GetHttpStatusCode($proxy){ [阅读全文]

热门标签

最新标签

推荐阅读

  1. 04

    2019-07

    爬虫代理IP用谁家的好

    在抓取网站信息过程中,爬虫用户最常遇见的就是IP被封,这是因为网站为了防止爬虫,会对每个来访的IP进行访问速度和访问次数的限制,对于限制访问速度的情况。

  2. 16

    2019-10

    http代理ip怎么帮我们找多个ip?

    当我们上网的时候,也许会遇到IP不够用的窘境。例如在某些网站,当我们需要注册多个账号时,如果始终使用一个IP,往往会提示"该IP已注册",这时候要想继续操作就需要多个IP地址。

  3. 21

    2019-05

    爬虫大数据代理IP使用黑洞HTTP更可靠

    目前爬虫大和大数据采集、分析等领域,在很多时候都需要用到代理IP,以此达到切换IP的目的。切换IP有很多方法,不过目前越来越多的企业级用户选择使用黑洞HTTP,这是为什么呢?

  4. 18

    2019-03

    黑洞http代理:大数据黑了还能恢复吗?

    现如今,网贷已经普遍进入了很多年轻人的生活。俗话说:小撸怡情,大撸伤身。不少人就陷入了网贷的泥潭之中,上不了岸。即便如此,网贷依然吸引了不少强制老哥继续撸,随缘下款,撸到

  5. 27

    2019-08

    用代理ip快速提高网站排名

    seo中文名称搜索引擎优化,是提升网站排名的一种技术手段,常用的手段就是优化标签,内链外链等等,最核心的优化方向,“关键词”。最常见的表现形式就是软文,但是有的时候就算你做了

  6. 04

    2019-04

    网站判断爬虫在采集数据时,可以试用代理IP吗?

    我们在用Python爬虫进行信息的采集时,经常被禁,有时提示访问过于频繁,有时返回一些错误码等等,那么网站是如何掌握爬虫在进行信息采集的呢?