IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

基于Requests使用ip代理进行爬虫工作

发布时间:2019年04月10日 来源:互联网

基于Requests使用ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞http,降低浏览频次,设置UA等。



基于Requests使用ip代理进行爬虫工作


#!/usr/bin/env python


# -*- coding:utf-8 -*-


import requests


import random


if __name__ == "__main__":


    #不同浏览器的UA


    header_list = [


        # 遨游


        {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},


        # 火狐


        {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},


        # 谷歌


        {


            "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}


    ]


    #不同的代理IP(该代理ip可能失效了,请到黑洞HTTP官网购买开通)


    proxy_list = [


        {"http": "112.115.57.20:33128"},


        {‘http‘: ‘121.41.171.223:32128‘}


    ]


    #随机获取UA和代理IP


    header = random.choice(header_list)


    proxy = random.choice(proxy_list)




    url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘


    #参数3:设置代理


    response = requests.get(url=url,headers=header,proxies=proxy)


    response.encoding = ‘utf-8‘


    with open(‘daili.html‘, ‘wb‘) as fp:


        fp.write(response.content)


    #切换成原来的IP


    requests.get(url, proxies={"http": ""})


相关文章内容简介

1 基于Requests使用ip代理进行爬虫工作

基于Requests使用ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞http,降低浏览频次,设置UA等。基于Requests使用ip代理进行爬虫工作#!/usr/bin/env python# -*- coding:utf-8 -*-import requestsimport randomif __name__ == "__main__":    #不同浏览器的UA    header_list = [        # 遨游        {"user-agent": [阅读全文]

热门标签

最新标签

推荐阅读

  1. 08

    2019-07

    免费HTTP代理IP怎么用

    HTTP代理IP作为最常见的一种协议模式,使用方式是十分简单的,你可以在IE上直接设置,也可以搭配程序批量操作。当前市面上有很多免费HTTP代理IP,高举高匿名大旗,小编可以很负责的告诉你

  2. 16

    2019-09

    哪里可以购买到高质量的https代理?

    在互联网世界,要想人个信息不被外泄,使用安全的网络环境,就要使用https代理,隐藏个人真实的ip信息,让不法分子无可乘之机。那么哪里可以购买到https代理?

  3. 11

    2019-07

    普通代理IP可以满足工作需求吗?

    普通代理ip价格优惠,很多人就考虑使用普通代理ip,那么普通代理ip好用吗?质量怎样?

  4. 18

    2019-11

    如何使用Redis和Flask维护代理ip池?

    在进行爬虫工作的时候,经常会遇到IP被封的问题,烦不胜烦,还好可以使用代理IP来解决这一个麻烦。代理IP哪里来,有人说,网上很多免费的,把它们收集起来就有了,有人说直接找代理IP服

  5. 16

    2019-04

    如何使用浏览器设置代理IP上网?

    在日常上网或者工作上网时,我们有时候希望隐藏自己电脑的IP,出于隐私保护,又或者是突破地域的访问限制,抑或是申请很多账号……总之这些都需要通过使用代理IP来解决。那么就有很多

  6. 24

    2019-04

    教育行业使用代理IP做什么?

    随着二胎政策的开放,很多家庭也预备着为家庭带来第二个孩子,从未来教育的规划角度来看,二胎政策的开放,开拓了教育机构的延伸和发展。所以现在很多的人在考虑创业的时候,往往会考