IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

基于Requests使用ip代理进行爬虫工作

发布时间:2019年04月10日 来源:互联网

基于Requests使用ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞http,降低浏览频次,设置UA等。



基于Requests使用ip代理进行爬虫工作


#!/usr/bin/env python


# -*- coding:utf-8 -*-


import requests


import random


if __name__ == "__main__":


    #不同浏览器的UA


    header_list = [


        # 遨游


        {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},


        # 火狐


        {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},


        # 谷歌


        {


            "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}


    ]


    #不同的代理IP(该代理ip可能失效了,请到黑洞HTTP官网购买开通)


    proxy_list = [


        {"http": "112.115.57.20:33128"},


        {‘http‘: ‘121.41.171.223:32128‘}


    ]


    #随机获取UA和代理IP


    header = random.choice(header_list)


    proxy = random.choice(proxy_list)




    url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘


    #参数3:设置代理


    response = requests.get(url=url,headers=header,proxies=proxy)


    response.encoding = ‘utf-8‘


    with open(‘daili.html‘, ‘wb‘) as fp:


        fp.write(response.content)


    #切换成原来的IP


    requests.get(url, proxies={"http": ""})


相关文章内容简介

1 基于Requests使用ip代理进行爬虫工作

基于Requests使用ip代理进行爬虫工作!大家应该都了解,大型网站都会设置相对的反爬虫机制,例如检测ip的浏览频率、次数等,如果超出了真实用户的浏览速度ip就会受限或被禁,因此大家在完成爬虫工作的时候也要采用一些方式,例如选择黑洞http,降低浏览频次,设置UA等。基于Requests使用ip代理进行爬虫工作#!/usr/bin/env python# -*- coding:utf-8 -*-import requestsimport randomif __name__ == "__main__":    #不同浏览器的UA    header_list = [        # 遨游        {"user-agent": [阅读全文]

热门标签

最新标签

推荐阅读

  1. 22

    2019-04

    代理IP如何获取与分析旅游行业大数据

    旅游行业可以说和大数据还有互联网行业关系很密切,随着现在物质生活和思想观念的提高转变,越来越多的人开始将自己的空余时间转移到旅游上来。可以说,你在旅游中的每一个阶段都会涉

  2. 01

    2019-05

    有了优质代理,网络爬虫更稳定

    工欲善其事,必先利其器,网络爬虫要有效率,必要有优质代理IP

  3. 13

    2019-11

    免费的代理IP有什么安全隐患?

    市面上有很多免费和付费的代理ip,该怎么选择呢?如果是选择了免费的代理IP,免费代理ip是否能够满足我们日常的需要呢?速度是否跟的上?稳定性怎么样?服务是否有保障?等等这些,成了

  4. 20

    2019-08

    IP代理是什么?有什么作用呢?

    我们常说的代理IP也就是代理服务器,主要功能就是保护用户的信息安全,起到一个防火墙的作用.大多数的代理服务器会被用来连接互联网和局域网。

  5. 22

    2019-03

    代理IP对于营销补量有效果吗

    是否可以把代理IP使用在营销补量上面?这样做会不会有效果呢?现在除了电商行业以外,大部分行业都需要做一些补量的工作通过补量工作,可以很有效率的提高网站的转换率。效果有用,但

  6. 12

    2019-09

    爬虫代理ip怎么绕过反爬虫机制?

    爬虫是抓取数据的途径,很多企业都是通过数据的分析然后来建立针对客户的方案,所以现在爬虫是很常见的工作。