IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

Python爬虫通过ip代理抓取网页

发布时间:2019年04月04日 来源:http://http.hunbovps.com/News/getList/catid/8/id/257.html

如果大家在采集网站信息的时候,特别频繁的来访问,非常容易被目标网站检测到从而进行屏蔽,解决这类情况的一种有效的方法就是使用代理IP,当我们连上网络上网的时候,电脑会被分配一个IP,提供给我们使用,如果我们频繁访问一个网站时,这个网站也会因为发现同一个ip地址访问多次而进行屏蔽的,这个时候更换IP地址访问是最好的解决方式,多个ip地址进行随机地轮流访问,减少被该网站检测到的概率。假如我们再使用多个不同的headers请求头,这样就会有多个ip+主机的组合,浏览时被发现的机率又更加降低了。


Python爬虫通过ip代理抓取网页

关于代码中ip代理的使用,下面介绍一下:


步骤:


1、urllib2库中的ProxyHandler类,通过此类可以使用ip代理访问网页


proxy_support=urllib2.ProxyHandler({}),其中参数是一个字典{‘类型':'代理ip:端口号'}


2、定制、创建一个opener


opener=urllib2.build_opener(proxy_support)


3、(1)安装opener


          urlib2.install_opener(opener)


   (2)调用默认的opener


         opener.open(url)


针对没有反爬虫机制的网站,只要直接像上面引入ProxyHandler类进行处理,下面以访问csdn主页为例:


import urllib 


url="http://www.csdn.net/" 


for i in range(0,10000): 


    html=urllib.urlopen(url) 


    print html.info() 


    print i 


当使用上述代码时,当循环到20时,就会出现下面的错误


Traceback (most recent call last):

  File "C:/Users/lenovo/PycharmProjects/untitled1/jt2/__init__.py", line 19, in 

    html=urllib.urlopen(url)

  File "C:\Python27\lib\urllib.py", line 87, in urlopen

    return opener.open(url)

  File "C:\Python27\lib\urllib.py", line 213, in open

    return getattr(self, name)(url)

  File "C:\Python27\lib\urllib.py", line 350, in open_http

    h.endheaders(data)

  File "C:\Python27\lib\httplib.py", line 997, in endheaders

    self._send_output(message_body)

  File "C:\Python27\lib\httplib.py", line 850, in _send_output

    self.send(msg)

  File "C:\Python27\lib\httplib.py", line 812, in send

    self.connect()

  File "C:\Python27\lib\httplib.py", line 793, in connect

    self.timeout, self.source_address)

  File "C:\Python27\lib\socket.py", line 571, in create_connection

    raise err

IOError: [Errno socket error] [Errno 10060]


这是由于用的电脑的单一ip进行反复访问才被检测出来的。


下面是使用了ip代理的代码:


import urllib2 


import random 


def getHtml(url,proxies): 


    random_proxy = random.choice(proxies) 


    proxy_support = urllib2.ProxyHandler({"http":random_proxy}) 


    opener = urllib2.build_opener(proxy_support) 


    urllib2.install_opener(opener) 


    html=urllib2.urlopen(url) 


    return html 


url="http://www.csdn.net/" 


proxies=["101.53.101.172:9999","171.117.93.229:8118","119.251.60.37:21387","58.246.194.70:8080" 


        "115.173.218.224:9797","110.77.0.70:80"] 


for i in range(0,10000): 


    try: 


        html=getHtml(url,proxies) 


        print html.info()     #打印网页的头部信息,只是为了展示访问到了网页,可以自己修改成想显示的内容 


        print i 


    except: 


        print "出现故障" 


这段代码在测试1096次时被检测到了,要知道我的列表中仅有6个ip,倘若增加ip的个数,那么被发现的几率会不会更低。对于上面例子中的ip代理,或许过段时间就不可以使用了,这就要我们自己去搜新的IP代理来更换。还有程序中的异常处理是为了使程序可以处理ip代码访问时出现问题的情况,因为有些ip代理在访问的时候会出现故障的,这样做了可以使程序更加健壮。


#网上的ip不一定都能使用的,要多试试,或是选择黑洞http代理ip,更稳定安全 


myproxies=["220.189.249.80:80","124.248.32.43:80"] 


html = get_html(url,user_agents,myproxies) 


print html.read() 


相关文章内容简介

1 Python爬虫通过ip代理抓取网页

如果大家在采集网站信息的时候,特别频繁的来访问,非常容易被目标网站检测到从而进行屏蔽,解决这类情况的一种有效的方法就是使用代理IP,当我们连上网络上网的时候,电脑会被分配一个IP,提供给我们使用,如果我们频繁访问一个网站时,这个网站也会因为发现同一个ip地址访问多次而进行屏蔽的,这个时候更换IP地址访问是最好的解决方式,多个ip地址进行随机地轮流访问,减少被该网站检测到的概率。假如我们再使用多个不同的headers请求头,这样就会有多个ip+主机的组合,浏览时被发现的机率又更加降低了。关于代码中ip代理的使用,下面介绍一下:步骤:1、urllib2库中的ProxyHandler类,通过此类可以使用ip代理访问网页proxy_support=urllib2.ProxyHandler({}),其中参数是一个字典{‘类型':'代理ip:端口号'}2、定制、创建一个open [阅读全文]

热门标签

最新标签

推荐阅读

  1. 18

    2019-06

    ip代理就可以隐藏我们真实ip地址

    我们在网上时,,真实的IP随时会被泄露,如果被别有用心的人利用的话,可能会对我们的生活造成一些影响。这时候如果使用了一些更换ip地址的软件,如黑洞http代理ip,就可以隐藏我们真是

  2. 20

    2019-05

    使用代理IP经常遇到哪些错误

    在使用代理IP的过程中,经常会遇到一些问题,可能一夜醒来,发现代理IP全都不能用了,也有可能就吃了个中午饭,下午的代理IP就大面积失效了,这是为什么呢,是代理IP的质量突然下降了吗

  3. 20

    2019-05

    如何使用代理IP增加某网站文章浏览量

    很多时候,刚发布的文章没什么浏览量,为了吸引读者,很多朋友可能会使用代理IP来增加一些初始浏览量。我们知道,有些网站的文章并不是刷新几次就会增加几个浏览量,需要通过一些技术

  4. 11

    2019-03

    黑洞HTTP做百度口碑营销的效果怎么样?

    通过百度口啤这个平台,可以很方便的看到网民对商家、网站产品或服务态度。网民可以通过口碑平台发布对线下交易过程中所感受的商家印象与自身评价,助力广大网民交易决策。那么百度口

  5. 23

    2019-03

    免费的爬虫代理ip都不可用是怎么回事?

    我用的是代理IP,主要用于爬虫抓取。方法是打开IE → 找到设置→ 打开 Internet选项→找到连接 点击代理设置在地址栏,填写我们找到的代理IP的区段

  6. 31

    2019-05

    HTTP代理IP和socks5代理IP一样吗?

    有些朋友分不清什么是HTTP代理IP,什么是socks5代理IP,经常将两者搞混,结果买错了产品,甚至有的客户想将错就错,问我HTTP代理IP能不能当成socks5代理IP用,或者socks5代理IP能不能当成HTTP来使