黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

PHP定时验证代理IP的可用性

发布时间:2019年03月20日 来源:互联网

上一篇文章给大家介绍了如何使用PHP做一个小型网络爬虫,今天就利用上次爬到的代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言,我也不知道,听别人说的,我个人比较喜欢java,以后有机会与大家分享我的学习之路。


我们为什么需要对代理IP进行验证呢?要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。


首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。


由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。


//代理IP验证方法 function GetHttpStatusCode($proxy){ $curl = curl_init(); curl_setopt ($curl, CURLOPT_PROXY, $proxy);//使用代理访问 curl_setopt($curl,CURLOPT_URL,"http://www.baidu.com");//获取内容url curl_setopt($curl,CURLOPT_HEADER,1);//获取http头信息 curl_setopt($curl,CURLOPT_NOBODY,1);//不返回html的body信息 curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);//返回数据流,不直接输出 curl_setopt($curl,CURLOPT_TIMEOUT,5); //超时时长,单位秒 curl_exec($curl); $rtn= curl_getinfo($curl,CURLINFO_HTTP_CODE); curl_close($curl); return $rtn; }


调用GetHttpStatusCode(代理IP地址:端口)方法就能返回该代理IP在访问百度首页时所返回的状态码,在需要的地方对状态码进行判断就能加以利用了。


PHP定时验证代理IP的可用性

我在数据表中加入了抓取到代理IP的时间和代理IP被验证的时间,已经存活的时间,这样代理IP的稳定性就一目了然了。


PHP定时验证代理IP的可用性

这是验证后的结果,整整100个IP,最后就剩下10个左右,看来在使用之前对代理IP进行验证还是很有必要的。


相关文章内容简介

1 PHP定时验证代理IP的可用性

上一篇文章给大家介绍了如何使用PHP做一个小型网络爬虫,今天就利用上次爬到的代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言,我也不知道,听别人说的,我个人比较喜欢java,以后有机会与大家分享我的学习之路。我们为什么需要对代理IP进行验证呢?要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。//代理IP验证方法 function GetHttpStatusCode($proxy){ [阅读全文]

热门标签

最新标签

推荐阅读

  1. 28

    2019-03

    网络营销可以用哪些工具?首选IP代理

    网络营销时代下,很多模式已经不能适用于互联网新时代了,往往达不到营销效果,想要更好的操作网络营销,就需要借助很多营销工具,做好每一步。我们都知道网络营销人员需要在网络上发

  2. 01

    2019-09

    为何设置ip后不能上网

    高匿代理IP与透明代理IP是相对的,而相对普通的匿名代理IP而言,高匿代理则对受访者显得更为隐秘。三者中从隐藏使用代理者身份的级别依次为高度匿名代理最隐蔽,其次是普通匿名代理,最

  3. 03

    2019-07

    爬虫工程师,离不开稳定代理IP

    随着数据时代和智能化时代到来,爬虫作为重要的数据来源,自身需要一些技术提升来适应时代的要求,这也就对爬虫工程师提出更高的要求。成为一个优秀的爬虫工程师,离不开稳定代理IP的

  4. 04

    2019-04

    如何找到匿名上网当前全国互联网代理IP

    匿名浏览的长度匿名用几乎所有人的身份浏览网络。这是通过所谓的浏览器实现的。当用户使用它们浏览互联网时,这些网站隐藏了ip和计算机位置等详细信息。一旦消费者试图进入某种东西,

  5. 12

    2018-09

    http是啥?http代理服务器那些事你不容错过

    超文本传输协议(HTTP,HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。

  6. 20

    2019-05

    付费代理IP价格很高吗?

    俗话说,天下没有免费的午餐,然而网上却有很多的免费代理IPIP。经过实际测试过后才发现,天下真的是没有免费的午餐,免费代理IPIP最昂贵。