IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

爬虫应该怎样使用IP代理服务器软件?

发布时间:2019年06月01日 来源:互联网

  爬虫应该怎样使用IP代理服务器软件?经常碰到很多朋友问我,Python爬虫程序里应该怎样来使用IP代理服务器软件,默认的urlopen是无法使用代理的IP的,今天就来分享一下Python爬虫怎样使用IP代理服务器软件的经验。


爬虫应该怎样使用IP代理服务器软件?


  一,这里以python3为例,首先要导入 urllib的request,然后调用ProxyHandler,它可以接受IP代理服务器软件的参数。


  from urllib import request


  px=request.ProxyHandler()


  二、接着把IP地址以字典的形式放入其中,这个IP地址是我从黑洞HTTP代理里随便提取的一个IP。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号。


  st.ProxyHandler({'http':'171.11.178.189:38458'})


  三、接着再用build_opener()来构建一个opener对象。


  opener=request.build_opener(px)


  四、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。


  req=request.Request('网址')


  res=opener.open(req)


  with open('a.html','wb') as f:


  f.write(res.read())


  五、在使用IP代理服务器软件的时候,可能会遇到一些错误,比如计算机积极拒绝之类的,这有可能是IP代理服务器软件已经失效了,需要换个有效的IP代理服务器软件来使用;也有可能遇到403或者407之类的错误,需要检查下授权对不对……


  总之,在使用IP代理服务器软件的过程中,总会遇到一些错误,需要冷静的分析,沉着的应对,最终解决问题。


相关文章内容简介

1 爬虫应该怎样使用IP代理服务器软件?

  爬虫应该怎样使用IP代理服务器软件?经常碰到很多朋友问我,Python爬虫程序里应该怎样来使用IP代理服务器软件,默认的urlopen是无法使用代理的IP的,今天就来分享一下Python爬虫怎样使用IP代理服务器软件的经验。  一,这里以python3为例,首先要导入 urllib的request,然后调用ProxyHandler,它可以接受IP代理服务器软件的参数。  from urllib import request  px=request.ProxyHandler()  二、接着把IP地址以字典的形式放入其中,这个IP地址是我从黑洞HTTP代理里随便提取的一个IP。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号。  st.ProxyHandler({'http':'171.11.178.189:38458'})  三、接 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 04

    2019-04

    Python爬虫与代理IP的关系

    利用爬虫能够更快的抓取到大量的数据,在诸多编程语言中,Python编写爬虫是比较简单的,能够利用自学来进行爬虫爬取数据,那么作为一个入门级菜鸟,怎么可以比较顺畅的编写爬虫并能实现

  2. 18

    2019-03

    免费的代理IP有时不可用,是为什么呢?

    代理IP的使用非常广泛,例如爬虫抓取,更换ip等,很多人刚开始使用代理ip,都会在网上找一些,免费的代理软件使用,但是很多时候免费的代理ip有时很顺畅有时却又不可用,到底是为什么呢

  3. 18

    2019-11

    爬虫使用代理ip访问网页代码

    爬取大数据要使用爬虫,想要爬虫顺利高效爬取到大数据,就要用代理ip保护爬虫。

  4. 15

    2019-05

    代理IP每日IP使用量超过百万

      在全球网络化的今天,一款浏览器仅仅提供浏览网页服务是不够,能换ip地址的浏览器才更具需求性,黑洞HTTP代理IP正是这样一款具有ip代理功能的软件。

  5. 17

    2019-06

    你知道HTTP代理IP有什么用吗?

    对于经常接触网络的小伙伴来说,IP想必是大家十分熟悉的一个词汇。但是你真的对HTTP代理IP了解吗?今天小编来简单普及一下关于HTTP代理IP的相关小常识,让大家更明确的知晓它的用途。所谓I

  6. 02

    2019-07

    HTTP代理IP为网络兼职带来更多便利

    互联网高速发展之下,网络兼职也成了很多人赚钱的一种方式。现如今,越来越多的人士纷纷加入到网赚行业中,一来可以增加收入,二来兼顾一些处于特定阶段的人群,例如孕妇、在职人员、