IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何使用IP代理服务器软件进行爬虫工作

发布时间:2019年06月03日 来源:互联网

  我们知道,一些网站会有相应的反爬虫措施,比如检测某些IP的访问次数或者访问频率,有些反人类的访问速度就会收到限制甚至封禁,所以在进行爬虫工作时也要讲究策略,比如使用代理IP,调整访问频率,设置UA等等,让我们来看看如何简单的使用代理IP。


image.png


  #!/usr/bin/env python


  # -*- coding:utf-8 -*-


  import requests


  import random


  if __name__ == "__main__":


  #不同浏览器的UA


  header_list = [


  # 遨游


  {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},


  # 火狐


  {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},


  # 谷歌


  {


  "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}


  ]


  #不同的代理IP(该代理ip可能已经失效,请自行去站大爷网站上购买开通)


  proxy_list = [


  {"http": "112.115.57.20:33128"},


  {‘http‘: ‘121.41.171.223:32128‘}


  ]


  #随机获取UA和代理IP


  header = random.choice(header_list)


  proxy = random.choice(proxy_list)


  url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘


  #参数3:设置代理


  response = requests.get(url=url,headers=header,proxies=proxy)


  response.encoding = ‘utf-8‘


  with open(‘daili.html‘, ‘wb‘) as fp:


  fp.write(response.content)


  #切换成原来的IP


  requests.get(url, proxies={"http": ""})


相关文章内容简介

1 如何使用IP代理服务器软件进行爬虫工作

  我们知道,一些网站会有相应的反爬虫措施,比如检测某些IP的访问次数或者访问频率,有些反人类的访问速度就会收到限制甚至封禁,所以在进行爬虫工作时也要讲究策略,比如使用代理IP,调整访问频率,设置UA等等,让我们来看看如何简单的使用代理IP。  #!/usr/bin/env python  # -*- coding:utf-8 -*-  import requests  import random  if __name__ == "__main__":  #不同浏览器的UA  header_list = [  # 遨游  {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},  # 火狐  {"user-agen [阅读全文]

热门标签

最新标签

推荐阅读

  1. 21

    2019-11

    选择ip代理公司看几点?

    如果无法采集大数据,对爬虫工作者来说是非常大的打击,但是 代理ip 的出现解决了数据抓取时ip被限制次数的难题。哪里有需求,哪里就有市场,随着代理ip需求量的增大,应用场景也越来越

  2. 08

    2019-05

    爬虫代理进行挖掘的常见问题

    虽然 爬虫代理特别昂贵但并不是特别贵啦,但重要的是要把事情放在眼前,并认识到如果你的目标网站检测到你并且提供了伪造的信息,这可能会导致更大的资金负担; 在这一点上,支付具有良

  3. 10

    2019-06

    HTTP代理IP免费和收费的区别?

    很多人用过代理IP,据统计小户更愿意使用免费代理IP,而工作室则专情于收费版。为什么呢?小编详细为你介绍下。

  4. 17

    2019-10

    换IP的方法减小游戏账号被封的几率

    很多用户在玩游戏的时候,如果稍不小心,帐号会被封,特别是多登陆帐号,被封的几率更大。现在有很多工作室或者个人通过游戏赚钱,这些是需要使用游戏多开的,所以很多人需要用换IP软

  5. 24

    2019-06

    代理IP盘点通用的爬虫系统有哪些类型?

    爬虫技术就是一个高效的下载系统,能够将海量的网页数据传送到本地,在本地形成互联网网页的镜像备份。根据具体应用的不同,爬虫系统在许多方面存在差异,大体而已,可以将爬虫系统分

  6. 21

    2019-03

    爬虫抓取数据为什么要使用代理IP?

    大数据时代,我们需要海量的信息去帮助我们分析市场、分析用户,因此在爬虫抓取数据的时候,就容易出现IP受限问题。有的网站也会采取防爬取技术,当我们采集信息频次过快的时候,