黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

基于Requests使用ip代理进行爬虫工作

发布时间:2019年04月10日 来源:互联网

基于Requests使用ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞http,降低浏览频次,设置UA等。



基于Requests使用ip代理进行爬虫工作


#!/usr/bin/env python


# -*- coding:utf-8 -*-


import requests


import random


if __name__ == "__main__":


    #不同浏览器的UA


    header_list = [


        # 遨游


        {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},


        # 火狐


        {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},


        # 谷歌


        {


            "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}


    ]


    #不同的代理IP(该代理ip可能失效了,请到黑洞HTTP官网购买开通)


    proxy_list = [


        {"http": "112.115.57.20:33128"},


        {‘http‘: ‘121.41.171.223:32128‘}


    ]


    #随机获取UA和代理IP


    header = random.choice(header_list)


    proxy = random.choice(proxy_list)




    url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘


    #参数3:设置代理


    response = requests.get(url=url,headers=header,proxies=proxy)


    response.encoding = ‘utf-8‘


    with open(‘daili.html‘, ‘wb‘) as fp:


        fp.write(response.content)


    #切换成原来的IP


    requests.get(url, proxies={"http": ""})


相关文章内容简介

1 基于Requests使用ip代理进行爬虫工作

基于Requests使用ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞http,降低浏览频次,设置UA等。基于Requests使用ip代理进行爬虫工作#!/usr/bin/env python# -*- coding:utf-8 -*-import requestsimport randomif __name__ == "__main__":    #不同浏览器的UA    header_list = [        # 遨游        {"user-agent": [阅读全文]

热门标签

最新标签

推荐阅读

  1. 18

    2019-03

    IP代理:6个用好大数据的秘诀

    这篇文章里,有三位来自不同公司的大数据运营人员各自分享了他们运用大数据的经验。这三位是来自维亚康姆(Viacom)的Luzzi、Globys公司的Olly Downs以及知名市场顾问公司Dunnhumby的CEO Andy Hill。

  2. 17

    2019-05

    Python爬虫如何使用http代理IP?

    简单的说,代理就是换个身份。网络中的身份之一就是IP。比如,我们身在墙内,想要访问google、u2b、fb等,直接访问是404,所以要换个不会被墙的IP,比如国外的IP等。这个就是简单的代理。当

  3. 11

    2019-05

    IP代理软件该如何选择

    许多用户在需要更换IP的时候,就需要用到IP代理软件。这个时候,就需要到海量的网络软件中选择合适的软件。选择IP代理软件的时候,有很多的注意事项。首先来说,IP代理软件更换IP的速度

  4. 26

    2019-04

    用java如何实现简单的http代理?

    初学java就写了个http代理练练手,把以前C语言写的移植了下,不得不说Java写起来是要比C语言简单的多。

  5. 06

    2019-08

    爬虫代理IP和高匿代理ip到底有多高?

    众所周知,一个IP做不了爬虫工作,没有大量的IP支撑,爬虫工作者寸步难行。

  6. 08

    2019-07

    发帖就用HTTP代理

    说起论坛,贴吧这类对于现在的新一代网民来说可能并不熟悉,现在网络用户普遍低龄化,这些对于一些90,80后来书还是比较熟悉的,现在也有很多人在做论坛,贴吧,会有人在上面发帖评论交