IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

爬虫应该怎样使用IP代理服务器软件?

发布时间:2019年06月01日 来源:互联网

  爬虫应该怎样使用IP代理服务器软件?经常碰到很多朋友问我,Python爬虫程序里应该怎样来使用IP代理服务器软件,默认的urlopen是无法使用代理的IP的,今天就来分享一下Python爬虫怎样使用IP代理服务器软件的经验。


爬虫应该怎样使用IP代理服务器软件?


  一,这里以python3为例,首先要导入 urllib的request,然后调用ProxyHandler,它可以接受IP代理服务器软件的参数。


  from urllib import request


  px=request.ProxyHandler()


  二、接着把IP地址以字典的形式放入其中,这个IP地址是我从黑洞HTTP代理里随便提取的一个IP。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号。


  st.ProxyHandler({'http':'171.11.178.189:38458'})


  三、接着再用build_opener()来构建一个opener对象。


  opener=request.build_opener(px)


  四、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。


  req=request.Request('网址')


  res=opener.open(req)


  with open('a.html','wb') as f:


  f.write(res.read())


  五、在使用IP代理服务器软件的时候,可能会遇到一些错误,比如计算机积极拒绝之类的,这有可能是IP代理服务器软件已经失效了,需要换个有效的IP代理服务器软件来使用;也有可能遇到403或者407之类的错误,需要检查下授权对不对……


  总之,在使用IP代理服务器软件的过程中,总会遇到一些错误,需要冷静的分析,沉着的应对,最终解决问题。


相关文章内容简介

1 爬虫应该怎样使用IP代理服务器软件?

  爬虫应该怎样使用IP代理服务器软件?经常碰到很多朋友问我,Python爬虫程序里应该怎样来使用IP代理服务器软件,默认的urlopen是无法使用代理的IP的,今天就来分享一下Python爬虫怎样使用IP代理服务器软件的经验。  一,这里以python3为例,首先要导入 urllib的request,然后调用ProxyHandler,它可以接受IP代理服务器软件的参数。  from urllib import request  px=request.ProxyHandler()  二、接着把IP地址以字典的形式放入其中,这个IP地址是我从黑洞HTTP代理里随便提取的一个IP。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号。  st.ProxyHandler({'http':'171.11.178.189:38458'})  三、接 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 05

    2019-11

    http代理地址分为几种,代表什么?

    互联网工作中 HTTP代理 应该都特别熟识,也有很多人不知道不懂,那么我们来讲解一下,它在很多方面都拥有着极为广泛的应用领域。HTTP代理分为正向代理和反向代理两种,后者一般用于将服

  2. 22

    2019-05

    爬虫代理ip资源是新媒体的宠儿?

    如今很多创业人员都开始投身于新媒体的发展,但是在新媒体发展的过程中爬虫代理ip平台功不可没。因为其实很多新媒体发展的初期都会通过在一些贴吧发帖,或者一些加密软件来进行吸粉。

  3. 04

    2019-11

    可供验证代理IP有效性的API接口怎么找?

    搭建ip池或者从网站上爬取免费代理IP,当然购买付费API最安全,从代理IP服务商那边获取代理IP,然后放入本地IP池,构建本地IP池API,这样就可以随心所欲的调用本地API获取IP进行使用了。那么

  4. 19

    2019-11

    高匿代理ip为什么成本高?

    爬虫爬取数据时,如果没有代理ip的保护很容易就被限制。关于选择免费代理ip还是收费代理ip比如成本高的高匿代理ip,很多小伙伴还是会难以抉择。就比如购买程序一样,一部分人宁愿选择漏

  5. 19

    2019-10

    代理IP和ADSL拨号的优缺点

    代理IP和ADSL拨号都是换IP的方式,在生活中有很多地方都需要换IP来解决限制。而不同方式有不同的优缺点,那么哪个效果好呢?

  6. 10

    2019-07

    用代理IP注册怎么样?

    在互联网迅速发展的今天,一些新兴的词汇常以极快的速度占领着网络,比如说http代理,就是现在网络上比较火热的一个词,主要应用于网络业务方面,比如注册,投票,抢购,发帖。对于http