IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何使用IP代理服务器软件进行爬虫工作

发布时间:2019年06月03日 来源:互联网

  我们知道,一些网站会有相应的反爬虫措施,比如检测某些IP的访问次数或者访问频率,有些反人类的访问速度就会收到限制甚至封禁,所以在进行爬虫工作时也要讲究策略,比如使用代理IP,调整访问频率,设置UA等等,让我们来看看如何简单的使用代理IP。


image.png


  #!/usr/bin/env python


  # -*- coding:utf-8 -*-


  import requests


  import random


  if __name__ == "__main__":


  #不同浏览器的UA


  header_list = [


  # 遨游


  {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},


  # 火狐


  {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},


  # 谷歌


  {


  "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}


  ]


  #不同的代理IP(该代理ip可能已经失效,请自行去站大爷网站上购买开通)


  proxy_list = [


  {"http": "112.115.57.20:33128"},


  {‘http‘: ‘121.41.171.223:32128‘}


  ]


  #随机获取UA和代理IP


  header = random.choice(header_list)


  proxy = random.choice(proxy_list)


  url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘


  #参数3:设置代理


  response = requests.get(url=url,headers=header,proxies=proxy)


  response.encoding = ‘utf-8‘


  with open(‘daili.html‘, ‘wb‘) as fp:


  fp.write(response.content)


  #切换成原来的IP


  requests.get(url, proxies={"http": ""})


相关文章内容简介

1 如何使用IP代理服务器软件进行爬虫工作

  我们知道,一些网站会有相应的反爬虫措施,比如检测某些IP的访问次数或者访问频率,有些反人类的访问速度就会收到限制甚至封禁,所以在进行爬虫工作时也要讲究策略,比如使用代理IP,调整访问频率,设置UA等等,让我们来看看如何简单的使用代理IP。  #!/usr/bin/env python  # -*- coding:utf-8 -*-  import requests  import random  if __name__ == "__main__":  #不同浏览器的UA  header_list = [  # 遨游  {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},  # 火狐  {"user-agen [阅读全文]

热门标签

最新标签

推荐阅读

  1. 21

    2019-09

    代理ip对营销好处

    如今,为用户提供的免费代理ip服务使用人数在不断的增高,而且用户对提供的 http代理 服务赞不绝口。这不仅是提供的免费代理ip服务得到大众的认可,更是免费代理ip逐渐被用户认可和接受的

  2. 13

    2019-11

    免费的代理IP有什么安全隐患?

    市面上有很多免费和付费的代理ip,该怎么选择呢?如果是选择了免费的代理IP,免费代理ip是否能够满足我们日常的需要呢?速度是否跟的上?稳定性怎么样?服务是否有保障?等等这些,成了

  3. 08

    2019-05

    黑洞代理IP与其他代理服务的区别

    黑洞代理在竞争对手中脱颖而出,成为企业快速,可靠,优质且经济高效的代理网络。它使用高匿代理IP使用户能够立即访问几乎任何站点,而不会被阻止或接收不正确的信息。下面就是黑洞代

  4. 13

    2019-11

    如何判断是否髙匿代理ip?

    代理ip从安全性来看,分为透明代理,普通代理,高匿代理。有一些朋友认为,当他设置代理IP后再查本机IP,本机IP并没有发生改变,他认为这个是透明代理,其实是不对的,这种情况应该是浏

  5. 09

    2019-04

    选择http代理IP需要注意些什么?

    在日常生活中,我们平时上网可能会很少用到http代理IP,但在从事互联网工作中,用到http代理IP的机会就比较多了。HTTP代理IP确实给我们的工作带来很多便利,也正因为如此,市面上的代理IP越

  6. 01

    2019-09

    http代理服务器哪家好和http代理爬虫

    每一个经营网站的人员应该都有这样的体会,这几年的白帽SEO越来越难做了,伴随搜索引擎技术的发展,要想通过本分的操作使得网站排名靠前的话,这要花费巨大的精力财力,而且随时还有排