IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

PHP定时验证代理IP的可用性

发布时间:2019年03月20日 来源:互联网

上一篇文章给大家介绍了如何使用PHP做一个小型网络爬虫,今天就利用上次爬到的代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言,我也不知道,听别人说的,我个人比较喜欢java,以后有机会与大家分享我的学习之路。


我们为什么需要对代理IP进行验证呢?要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。


首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。


由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。


//代理IP验证方法 function GetHttpStatusCode($proxy){ $curl = curl_init(); curl_setopt ($curl, CURLOPT_PROXY, $proxy);//使用代理访问 curl_setopt($curl,CURLOPT_URL,"http://www.baidu.com");//获取内容url curl_setopt($curl,CURLOPT_HEADER,1);//获取http头信息 curl_setopt($curl,CURLOPT_NOBODY,1);//不返回html的body信息 curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);//返回数据流,不直接输出 curl_setopt($curl,CURLOPT_TIMEOUT,5); //超时时长,单位秒 curl_exec($curl); $rtn= curl_getinfo($curl,CURLINFO_HTTP_CODE); curl_close($curl); return $rtn; }


调用GetHttpStatusCode(代理IP地址:端口)方法就能返回该代理IP在访问百度首页时所返回的状态码,在需要的地方对状态码进行判断就能加以利用了。


PHP定时验证代理IP的可用性

我在数据表中加入了抓取到代理IP的时间和代理IP被验证的时间,已经存活的时间,这样代理IP的稳定性就一目了然了。


PHP定时验证代理IP的可用性

这是验证后的结果,整整100个IP,最后就剩下10个左右,看来在使用之前对代理IP进行验证还是很有必要的。


相关文章内容简介

1 PHP定时验证代理IP的可用性

上一篇文章给大家介绍了如何使用PHP做一个小型网络爬虫,今天就利用上次爬到的代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言,我也不知道,听别人说的,我个人比较喜欢java,以后有机会与大家分享我的学习之路。我们为什么需要对代理IP进行验证呢?要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。//代理IP验证方法 function GetHttpStatusCode($proxy){ [阅读全文]

热门标签

最新标签

推荐阅读

  1. 03

    2019-04

    代理ip协助爬虫爬取豆瓣图书榜单信息

    今天黑洞HTTP为大家分享一下爬虫是如何爬取豆瓣图书榜单信息的,我们首先打开豆瓣图书top250的网页,通过源代码检查元素,检索我们所需要的字段所在的标签。主要抓取的内容是书名、别名

  2. 25

    2019-11

    HTTP代理IP有几种使用方法?

    大多数人对代理ip还是有所了解的,比热IP代理可以更换IP,生活中经常用到的作用就是解除IP的限制。黑洞IP代理今天就给大家简单的说一下http代理IP的使用方式。

  3. 03

    2019-07

    商业价值的代理ip有哪些?

    在互联网和移动互联网的大趋势下,企业身处社会化和产业链环节中,让数据流动起来,实现基于数据集成和数据驱动的营销-销售一体化,是企业数字化转型得以突破的关键。面对这种形式,ip

  4. 22

    2019-05

    私密代理ip是否可以简单快捷地转换?

    如今互联网走进了每家每户,电脑和手机更是不用说。很多人都会在日常生活中收到陌生用户发来的网址或者是一些陌生信息。这些陌生信息中一边都存在着一些风险,有些防范心不高的用户不

  5. 15

    2019-10

    Python代理IP爬虫新手使用教程

    Python爬虫要经历爬虫、爬虫被限制、爬虫反限制的过程。当然后续还要网页爬虫限制优化,爬虫再反限制的一系列道高一尺魔高一丈的过程。爬虫的初级阶段,添加headers和ip代理可以解决很多

  6. 23

    2019-05

    代理ip如何选择服务商

    在目前的网络上,高匿代理ip是经常会被提到,因为代理ip有很多的用处。比如我们在某些网站上注册多个账号的时候,就需要使用到高匿代理ip。这个时候,我们需要选择合适的服务商。