IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何使用IP代理服务器软件进行爬虫工作

发布时间:2019年06月03日 来源:互联网

  我们知道,一些网站会有相应的反爬虫措施,比如检测某些IP的访问次数或者访问频率,有些反人类的访问速度就会收到限制甚至封禁,所以在进行爬虫工作时也要讲究策略,比如使用代理IP,调整访问频率,设置UA等等,让我们来看看如何简单的使用代理IP。


image.png


  #!/usr/bin/env python


  # -*- coding:utf-8 -*-


  import requests


  import random


  if __name__ == "__main__":


  #不同浏览器的UA


  header_list = [


  # 遨游


  {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},


  # 火狐


  {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},


  # 谷歌


  {


  "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}


  ]


  #不同的代理IP(该代理ip可能已经失效,请自行去站大爷网站上购买开通)


  proxy_list = [


  {"http": "112.115.57.20:33128"},


  {‘http‘: ‘121.41.171.223:32128‘}


  ]


  #随机获取UA和代理IP


  header = random.choice(header_list)


  proxy = random.choice(proxy_list)


  url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘


  #参数3:设置代理


  response = requests.get(url=url,headers=header,proxies=proxy)


  response.encoding = ‘utf-8‘


  with open(‘daili.html‘, ‘wb‘) as fp:


  fp.write(response.content)


  #切换成原来的IP


  requests.get(url, proxies={"http": ""})


相关文章内容简介

1 如何使用IP代理服务器软件进行爬虫工作

  我们知道,一些网站会有相应的反爬虫措施,比如检测某些IP的访问次数或者访问频率,有些反人类的访问速度就会收到限制甚至封禁,所以在进行爬虫工作时也要讲究策略,比如使用代理IP,调整访问频率,设置UA等等,让我们来看看如何简单的使用代理IP。  #!/usr/bin/env python  # -*- coding:utf-8 -*-  import requests  import random  if __name__ == "__main__":  #不同浏览器的UA  header_list = [  # 遨游  {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},  # 火狐  {"user-agen [阅读全文]

热门标签

最新标签

推荐阅读

  1. 23

    2019-04

    代理IP可以防止IP被攻击

    黑客会采取各种手段,探测对方的主机信息,以便决定使用何种最有效的方法达到自己的目的。来看看黑客是如何获知最基本的网络信息——对方的IP地址,以便用户如何防范自己的IP泄漏。

  2. 26

    2019-07

    最新http代理服务器

    说起IP大家都不陌生,在因特网中http代理服务器,它是能使连接到网上的所有计算机网络实现相互通信的一套规则,规定了计算机在因特网上进行通信时应当遵守的规则。何厂家生产的计算机系

  3. 05

    2019-06

    安徽代理ip有吗?

    代理IP这个词对于经常使用网络的人来说并不陌生,那么如何选择代理IP呢?在选择代理IP时有这样几个因为因素需要考虑,一是代理IP的数量,一些网络业务所需要的代理IP数量是非常大的,

  4. 07

    2019-05

    爬虫IP代理破封不可阻挡

    “人在江湖飘,哪能不挨刀。”话糙理不糙,在我们酣畅淋漓地使用爬虫抓取 数据为我们所用的时候,却也能难免遇到强敌,IP遭到封锁,爬虫被反。那么万一不行,IP被封了,有什么方法来解

  5. 30

    2019-05

    QQ营销推广为什么需要用到代理IP?

    腾讯QQ对我们来说不是什么新鲜玩意,对于绝大部分人来说,开电脑的第一件事就是登陆QQ,腾讯QQ的用户群体据说有好几亿,这也使得很多人都用QQ来做营销推广,比如发发小广告什么的啊,但

  6. 09

    2019-08

    用了代理IP发帖还会被封吗

    发帖对于推广人员来说都不陌生,是一种推广方式。无论是推广产品还是活动、服务器,都要在一些平台上发帖。一般平台为了保障环境,都会做出限制,每个用户的IP发帖量是有规定的。