IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

基于Requests使用ip代理进行爬虫工作

发布时间:2019年04月10日 来源:互联网

基于Requests使用ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞http,降低浏览频次,设置UA等。



基于Requests使用ip代理进行爬虫工作


#!/usr/bin/env python


# -*- coding:utf-8 -*-


import requests


import random


if __name__ == "__main__":


    #不同浏览器的UA


    header_list = [


        # 遨游


        {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},


        # 火狐


        {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},


        # 谷歌


        {


            "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}


    ]


    #不同的代理IP(该代理ip可能失效了,请到黑洞HTTP官网购买开通)


    proxy_list = [


        {"http": "112.115.57.20:33128"},


        {‘http‘: ‘121.41.171.223:32128‘}


    ]


    #随机获取UA和代理IP


    header = random.choice(header_list)


    proxy = random.choice(proxy_list)




    url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘


    #参数3:设置代理


    response = requests.get(url=url,headers=header,proxies=proxy)


    response.encoding = ‘utf-8‘


    with open(‘daili.html‘, ‘wb‘) as fp:


        fp.write(response.content)


    #切换成原来的IP


    requests.get(url, proxies={"http": ""})


相关文章内容简介

1 基于Requests使用ip代理进行爬虫工作

基于Requests使用ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞http,降低浏览频次,设置UA等。基于Requests使用ip代理进行爬虫工作#!/usr/bin/env python# -*- coding:utf-8 -*-import requestsimport randomif __name__ == "__main__":    #不同浏览器的UA    header_list = [        # 遨游        {"user-agent": [阅读全文]

热门标签

最新标签

推荐阅读

  1. 26

    2019-04

    代理IP如何进行数据采集?

    我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常抓取数据,一切看起来都是那么正常,然而一杯茶的功夫可能就会出现错误,比如403 Forbidden。

  2. 11

    2019-05

    IP代理软件崛起为营销人员必备工具

    相信很多人对于网络营销这一行业并不陌生。一般来说,工作人员通过主动地批量地群发消息,进而筛选出有购买意向的群体。这种操作模式简单粗暴,可效果很不错,随着技术的发展如今的操

  3. 22

    2019-07

    http代理服务器功能强大吗?

    中国虽大,但网络上HTTP代理服务器却少之又少,很多急需IP的开发者都尝试找过,结果百度搜不到,连问了几家IP供应商也说没有,这时候我们该如何解决?方法其实很简单,可以使用。拥有庞

  4. 21

    2019-05

    动态代理ip与普通代理ip有什么区别?

    在区分什么是动态代理ip之前,首先我们要弄清楚,什么是代理IP?就是你在你的浏览器设置选项中(IE/火狐/chrome),手动输入你的代理ip地址。然后用浏览器去搜索,比如说访问百度,在百度

  5. 29

    2019-06

    代理ip如何依靠互联网谋发展?

    中国的互联网发展时间并不长,但发展速度无疑是众国家中最快的一个。伴随着大数据时代蓬勃发展,给各行各业带来了不少冲击和全新机遇。对于旅游行业来说,我们在旅游前会通过媒体渠

  6. 15

    2019-04

    想加快互联网的链接,可以用代理IP吗?

    如果TCP / IP发生了一些重大变化,超过五次可以加速Web。