爬虫应该怎样使用IP代理服务器软件?经常碰到很多朋友问我,Python爬虫程序里应该怎样来使用IP代理服务器软件,默认的urlopen是无法使用代理的IP的,今天就来分享一下Python爬虫怎样使用IP代理服务器软件的经验。
一,这里以python3为例,首先要导入 urllib的request,然后调用ProxyHandler,它可以接受IP代理服务器软件的参数。
from urllib import request
px=request.ProxyHandler()
二、接着把IP地址以字典的形式放入其中,这个IP地址是我从黑洞HTTP代理里随便提取的一个IP。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号。
st.ProxyHandler({'http':'171.11.178.189:38458'})
三、接着再用build_opener()来构建一个opener对象。
opener=request.build_opener(px)
四、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。
req=request.Request('网址')
res=opener.open(req)
with open('a.html','wb') as f:
f.write(res.read())
五、在使用IP代理服务器软件的时候,可能会遇到一些错误,比如计算机积极拒绝之类的,这有可能是IP代理服务器软件已经失效了,需要换个有效的IP代理服务器软件来使用;也有可能遇到403或者407之类的错误,需要检查下授权对不对……
总之,在使用IP代理服务器软件的过程中,总会遇到一些错误,需要冷静的分析,沉着的应对,最终解决问题。
相关资讯
相关文章内容简介
1 爬虫应该怎样使用IP代理服务器软件?
爬虫应该怎样使用IP代理服务器软件?经常碰到很多朋友问我,Python爬虫程序里应该怎样来使用IP代理服务器软件,默认的urlopen是无法使用代理的IP的,今天就来分享一下Python爬虫怎样使用IP代理服务器软件的经验。 一,这里以python3为例,首先要导入 urllib的request,然后调用ProxyHandler,它可以接受IP代理服务器软件的参数。 from urllib import request px=request.ProxyHandler() 二、接着把IP地址以字典的形式放入其中,这个IP地址是我从黑洞HTTP代理里随便提取的一个IP。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号。 st.ProxyHandler({'http':'171.11.178.189:38458'}) 三、接 [阅读全文]
推荐阅读
01
2019-09
代理ip在互联网发展中有什么作用?
当今时代是一个信息时代,更是一个网络时代,在这这个信息量巨大,选择众多的网络时代里,IP代理的选择越来越成为人们在这个时代不可忽视的重要选择。的出现,个这个蓬勃发展的领域带
13
2019-04
分布式爬虫搭建好后,代理ip出问题该怎么办?
搭建好了分布式爬虫,正准备让程序去抓取数据,服务器也搭好了。突然发现,当前代理ip地址不可用了,应该怎么办呢?
22
2019-11
如何使用HTTP代理IP更加方便?
HTTP代理IP的使用越来越广泛,在日常生活中,很多人因为工作需要使用代理IP上网,很多人因为其他原因使用代理IP上网,但还有一些人不知道怎么使用HTTP代理IP上网,今天我们来看看有哪些方
19
2019-03
爬取猫眼top100、淘宝美食、微信文章、ip代理池实现、scrapy入
利用requests和简单的正则表达式进行数据的爬取,并利用multiprocessing.Pool线程池加快速度
15
2019-11
使用代理IP时的三个误区
作为网络工作者,经常会在工作中使用到代理IP,但在使用的过程中会经常遇到一些比较常见的问题。很多用户对代理IP的使用有一些误区,这也造成了很多问题一筹莫展,不知道问题出在哪里
24
2019-04
如何爬取酷狗音乐的榜单信息
今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内
热门文章
注意: 严禁一切违规违法的业务,一经发现直接封帐号
Powered by wanchen tech. © | 粤ICP备18047396号-6 广州万宸软件科技有限公司http代理 版权所有