IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何使用IP代理服务器软件进行爬虫工作

发布时间:2019年06月03日 来源:互联网

  我们知道,一些网站会有相应的反爬虫措施,比如检测某些IP的访问次数或者访问频率,有些反人类的访问速度就会收到限制甚至封禁,所以在进行爬虫工作时也要讲究策略,比如使用代理IP,调整访问频率,设置UA等等,让我们来看看如何简单的使用代理IP。


image.png


  #!/usr/bin/env python


  # -*- coding:utf-8 -*-


  import requests


  import random


  if __name__ == "__main__":


  #不同浏览器的UA


  header_list = [


  # 遨游


  {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},


  # 火狐


  {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},


  # 谷歌


  {


  "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}


  ]


  #不同的代理IP(该代理ip可能已经失效,请自行去站大爷网站上购买开通)


  proxy_list = [


  {"http": "112.115.57.20:33128"},


  {‘http‘: ‘121.41.171.223:32128‘}


  ]


  #随机获取UA和代理IP


  header = random.choice(header_list)


  proxy = random.choice(proxy_list)


  url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘


  #参数3:设置代理


  response = requests.get(url=url,headers=header,proxies=proxy)


  response.encoding = ‘utf-8‘


  with open(‘daili.html‘, ‘wb‘) as fp:


  fp.write(response.content)


  #切换成原来的IP


  requests.get(url, proxies={"http": ""})


相关文章内容简介

1 如何使用IP代理服务器软件进行爬虫工作

  我们知道,一些网站会有相应的反爬虫措施,比如检测某些IP的访问次数或者访问频率,有些反人类的访问速度就会收到限制甚至封禁,所以在进行爬虫工作时也要讲究策略,比如使用代理IP,调整访问频率,设置UA等等,让我们来看看如何简单的使用代理IP。  #!/usr/bin/env python  # -*- coding:utf-8 -*-  import requests  import random  if __name__ == "__main__":  #不同浏览器的UA  header_list = [  # 遨游  {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},  # 火狐  {"user-agen [阅读全文]

热门标签

最新标签

推荐阅读

  1. 14

    2019-05

    代理ip购买前需要考虑哪些?

    应该说现在代理ip软件比较多,让大家真的是不好选择。所以,今天黑洞HTTP就来给大家分享一下购买代理ip软件前要考虑的几件事情。希望可以给大家带来帮助。

  2. 03

    2019-04

    代理ip协助爬虫爬取豆瓣图书榜单信息

    今天黑洞HTTP为大家分享一下爬虫是如何爬取豆瓣图书榜单信息的,我们首先打开豆瓣图书top250的网页,通过源代码检查元素,检索我们所需要的字段所在的标签。主要抓取的内容是书名、别名

  3. 01

    2019-09

    http代理服务器哪家好和http代理爬虫

    每一个经营网站的人员应该都有这样的体会,这几年的白帽SEO越来越难做了,伴随搜索引擎技术的发展,要想通过本分的操作使得网站排名靠前的话,这要花费巨大的精力财力,而且随时还有排

  4. 14

    2019-06

    关于HTTP代理IP怎么用?

    如果你经常上网,一定会听到这样一个词--代理IP。代理IP的意思是将用户真实IP隐藏,用另一个IP地址替换。现在网络上,存在很多可以提供此类服务的商家,下面小编为大家一一讲解。

  5. 12

    2019-08

    IP代理具有哪些注意事项呢?如何切换ip地址?

    不知给大家说起IP代理都是否熟悉呢,其实在事实上许多人使用代理IP时都不会注意一些相关的问题,经常导致IP被限制,今天小编带大家去了解一些使用代理IP要注意的事项。希望可以帮到大家

  6. 21

    2019-03

    怎么把自己电脑IP改成别的城市,国内IP代理软件哪个好用?

    什么是IP转换器,IP转换器又是然后修改IP的呢,我们看看IP代理软件应用及了解它的一些功能和用途。