IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

爬虫应该怎样使用IP代理服务器软件?

发布时间:2019年06月01日 来源:互联网

  爬虫应该怎样使用IP代理服务器软件?经常碰到很多朋友问我,Python爬虫程序里应该怎样来使用IP代理服务器软件,默认的urlopen是无法使用代理的IP的,今天就来分享一下Python爬虫怎样使用IP代理服务器软件的经验。


爬虫应该怎样使用IP代理服务器软件?


  一,这里以python3为例,首先要导入 urllib的request,然后调用ProxyHandler,它可以接受IP代理服务器软件的参数。


  from urllib import request


  px=request.ProxyHandler()


  二、接着把IP地址以字典的形式放入其中,这个IP地址是我从黑洞HTTP代理里随便提取的一个IP。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号。


  st.ProxyHandler({'http':'171.11.178.189:38458'})


  三、接着再用build_opener()来构建一个opener对象。


  opener=request.build_opener(px)


  四、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。


  req=request.Request('网址')


  res=opener.open(req)


  with open('a.html','wb') as f:


  f.write(res.read())


  五、在使用IP代理服务器软件的时候,可能会遇到一些错误,比如计算机积极拒绝之类的,这有可能是IP代理服务器软件已经失效了,需要换个有效的IP代理服务器软件来使用;也有可能遇到403或者407之类的错误,需要检查下授权对不对……


  总之,在使用IP代理服务器软件的过程中,总会遇到一些错误,需要冷静的分析,沉着的应对,最终解决问题。


相关文章内容简介

1 爬虫应该怎样使用IP代理服务器软件?

  爬虫应该怎样使用IP代理服务器软件?经常碰到很多朋友问我,Python爬虫程序里应该怎样来使用IP代理服务器软件,默认的urlopen是无法使用代理的IP的,今天就来分享一下Python爬虫怎样使用IP代理服务器软件的经验。  一,这里以python3为例,首先要导入 urllib的request,然后调用ProxyHandler,它可以接受IP代理服务器软件的参数。  from urllib import request  px=request.ProxyHandler()  二、接着把IP地址以字典的形式放入其中,这个IP地址是我从黑洞HTTP代理里随便提取的一个IP。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号。  st.ProxyHandler({'http':'171.11.178.189:38458'})  三、接 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 01

    2019-09

    代理ip在互联网发展中有什么作用?

    当今时代是一个信息时代,更是一个网络时代,在这这个信息量巨大,选择众多的网络时代里,IP代理的选择越来越成为人们在这个时代不可忽视的重要选择。的出现,个这个蓬勃发展的领域带

  2. 13

    2019-04

    分布式爬虫搭建好后,代理ip出问题该怎么办?

    搭建好了分布式爬虫,正准备让程序去抓取数据,服务器也搭好了。突然发现,当前代理ip地址不可用了,应该怎么办呢?

  3. 22

    2019-11

    如何使用HTTP代理IP更加方便?

    HTTP代理IP的使用越来越广泛,在日常生活中,很多人因为工作需要使用代理IP上网,很多人因为其他原因使用代理IP上网,但还有一些人不知道怎么使用HTTP代理IP上网,今天我们来看看有哪些方

  4. 19

    2019-03

    爬取猫眼top100、淘宝美食、微信文章、ip代理池实现、scrapy入

    利用requests和简单的正则表达式进行数据的爬取,并利用multiprocessing.Pool线程池加快速度

  5. 15

    2019-11

    使用代理IP时的三个误区

    作为网络工作者,经常会在工作中使用到代理IP,但在使用的过程中会经常遇到一些比较常见的问题。很多用户对代理IP的使用有一些误区,这也造成了很多问题一筹莫展,不知道问题出在哪里

  6. 24

    2019-04

    如何爬取酷狗音乐的榜单信息

    今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内