IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

Python爬虫常用小技巧之设置代理IP

发布时间:2019年11月23日 来源:互联网

    当我们使用Python爬虫对一个网站进行爬取的时候,一般都会频繁的对该网站进行访问。假设一个网站可以检测到在某一个时间段内,某个IP地址的访问次数,如果该IP地址还是在某一个时间段内继续访问没并且访问次数远远超过正常用户的访问次数状况,那么该网站就会禁止该IP地址继续进行访问。所以,这个时候你就可以设置一些代理服务器来帮助你做工作,每次访问时间过长或者事访问频率特别高的时候,你就换一个IP代理,这样就不会出现因为频繁访问而导致禁止访问的现象。


    我们在学习Python爬虫的时候,也经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,所以下面这篇文章讲述一个爬虫技巧,设置代理IP


    这里介绍一款代理IP,黑洞代理,直接提取就可是使用


    配置环境


    安装requests库


    安装bs4库


    安装lxml库


    具体代码


    话不多说直接上代码吧

Python爬虫常用小技巧之设置代理IP


    函数get_ip_list(url, headers)传入url和headers,最后返回一个IP列表,列表的元素类似122.114.31.177:808格式,这个列表包括国内髙匿代理IP网站首页所有IP地址和端口


    函数get_random_ip(ip_list)传入第一个函数得到的列表,返回一个随机的proxies,这个proxies可以传入到requests的get方法中,这样就可以做到每次运行都使用不同的IP访问被爬取的网站,有效地避免了真实IP被封的风险


    proxies的格式是一个字典: {‘http': ‘http://122.114.31.177:808‘} ,可以将下面的执行也封装为方法


    对于抓取IP这个,黑洞代理的服务器做了反爬处理,如果你频繁去抓取的话,服务器会主动返回503错误,提示block,所以在请求的时候可以先一次请求完保存一个文件,来读取这个文件,或者爬取一个ip使用几分钟后,再去爬取一次,相当于加一个定时功能


    代理IP的使用


    运行上面的代码会得到一个随机的proxies,把它直接传入requests的get方法中即可


    1


    res = requests.get(url, headers=headers, proxies=proxies)


相关文章内容简介

1 Python爬虫常用小技巧之设置代理IP

    当我们使用Python爬虫对一个网站进行爬取的时候,一般都会频繁的对该网站进行访问。假设一个网站可以检测到在某一个时间段内,某个IP地址的访问次数,如果该IP地址还是在某一个时间段内继续访问没并且访问次数远远超过正常用户的访问次数状况,那么该网站就会禁止该IP地址继续进行访问。所以,这个时候你就可以设置一些代理服务器来帮助你做工作,每次访问时间过长或者事访问频率特别高的时候,你就换一个IP代理,这样就不会出现因为频繁访问而导致禁止访问的现象。    我们在学习Python爬虫的时候,也经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,所以下面这篇文章讲述一个爬虫技巧,设置代理IP    这里介绍一款代理IP,黑洞 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 02

    2019-07

    为什么使用HTTP代理IP还是被封呢?

    网络爬虫在如今的互联网领域有着特别的意义,比如我们耳熟能详的大数据,它的发展就离不开网络爬虫。然而网络爬虫也是有天敌的,那就是目标网站的反爬虫策略,爬虫在工作过程中要时刻

  2. 08

    2019-11

    手机上如何切换全国各地的IP?

    当手机的ip被限制时,怎么换ip呢?怎么才能切换全国地区的IP地址呢?今天小编详细为你讲解。

  3. 24

    2019-09

    如何设置代理ip地址?

    网站不能不能访问,并显示“ 代理服务器 没有响应”,请检查Internet的设置是否有问题。为您献上一策:点击电脑左下角的开始–控制面板–Internet选项,在弹出来的框“internet属性”框,点

  4. 11

    2019-09

    为什么高匿代理ip刷单更有效果?

    在一些网络销售平台上存在的刷单现象是众所周知的,其实在如今来说,很多消费者都不觉得它是一种欺骗消费者的行为了,更多的能够展现自己的实力。因为当我们通过某著名电商平台去购物

  5. 07

    2019-08

    http代理服务器的匿名程度怎么判断?

    写好的爬虫代理服务器放在网上爬,被ban其实是一件很郁闷的事情,现在各个网站都会有相应的防爬的措施,一般来说模拟请求头一般都够了,不过仅仅是模拟请求头够么,答案当然是否定的,

  6. 21

    2019-05

    如何选择优质的爬虫代理IP

    或许我们在网上冲浪的时候,有时候会用到代理的,爬虫代理在目前是很火热的。之所以要用到爬虫代理,是因为我们有时候需要更换ip,但是如何选择优质的爬虫代理供应商呢?