IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

用代理IP应对爬虫被源网站流量监控封杀IP

发布时间:2019年05月21日 来源:互联网

  用代理IP应对爬虫被源网站流量监控封杀IP!爬虫经常需要配合代理IP,但并不是所有网站都会监控流量来源,一些运行良好的网站需要考虑数据安全性和核心竞争力,才会对流量进行监控,防止爬虫的高频率抓取导致核心数据外泄。


用代理IP应对爬虫被源网站流量监控封杀IP


  这部分网站一般是通过IP来识别爬虫,当同个IP在一段时间内请求明显高于人访问网页的速度时,会判定为爬虫请求从而对该请求的IP进行短期或长期封杀。


  那这时候就需要使用代理来绕过对IP的监控或封杀。在网上能找到一些提供免费代理IP的平台,不过亲测极其不稳定,通常100个里只有个别能用。


  所以真正的想用代理IP来做爬虫,还是找付费的比较好。通常爬虫用途可以买动态IP:平台提供一个API,每次刷新请求会得到一个或一堆有效期比较短的IP,然后从这些IP里挑选来代理请求,失效时重新生成可用的IP即可。


  我写的爬虫是node里跑的,这里不得不提的是,在js里非常流行的axios请求库亲测并不能实现代理请求(也许是我姿势不对),参考网上教程需要使用request这个请求库(然而并不好用,API并不是流行的Promise方式)


  所以我在逻辑代码里是这样实现的,首先封装一个请求函数,封装过后的请求函数就暴露了一个统一的request方法,使用时候只需要request(url)即可。


  从代码里也可以看到:当代理有效时会用代理,当代理无效、超时或其他任何错误时会返回正常的请求,这也是降级保障了爬虫代码的健壮性。


  在使用拨号服务器获取的代理IP时,超时时间是个需要不断调整的设置。超时太短了会导致代理不可用的概率提高,而超时太长则会影响整个爬虫的速度。


  比如我给客户跑的这个爬虫,不使用代理时跑完需要4个小时,而如果使用代理,每次请求的时间就加长了,在设置2000毫秒的超时下,整个任务跑下来需要翻2倍的时间。


相关文章内容简介

1 用代理IP应对爬虫被源网站流量监控封杀IP

  用代理IP应对爬虫被源网站流量监控封杀IP!爬虫经常需要配合代理IP,但并不是所有网站都会监控流量来源,一些运行良好的网站需要考虑数据安全性和核心竞争力,才会对流量进行监控,防止爬虫的高频率抓取导致核心数据外泄。  这部分网站一般是通过IP来识别爬虫,当同个IP在一段时间内请求明显高于人访问网页的速度时,会判定为爬虫请求从而对该请求的IP进行短期或长期封杀。  那这时候就需要使用代理来绕过对IP的监控或封杀。在网上能找到一些提供免费代理IP的平台,不过亲测极其不稳定,通常100个里只有个别能用。  所以真正的想用代理IP来做爬虫,还是找付费的比较好。通常爬虫用途可以买动态IP:平台提供一个API,每次刷新请求会得到一个或一堆有效期比较短的IP,然后从这些IP里挑选来代理请求,失效时重新生成可用的IP即可。  我写的爬虫是node里跑的,这里不得不提的是,在js里非常流行的axios请求 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 20

    2019-11

    使用代理ip的爬虫分为几类?

    通常我运用一下几类爬虫:

  2. 05

    2019-06

    国内IP和代理IP是什么?

    在网络中,我们经常会遇到IP地址这个概念,这也是网络中的一个重要的概念。所谓IP地址就是给每个连接在Internet上的主机分配一个在全世界范围唯一的32bit地址。

  3. 20

    2019-06

    哪种HTTP代理IP性价比高,要如何选择

    HTTP代理IP对于爬虫工作者来说并不陌生,毕竟需要天天与之打交道。HTTP代理IP作为爬虫与反爬虫斗争中的一大助力,自然至关重要,优质高效的HTTP代理IP可以让工作事半功倍,可以节省很多人力

  4. 17

    2019-05

    有没有物美价廉的代理IP?

    如今随着人们对互联网越来越深入的了解,提到换ip软件所有人都不陌生。可以说现在有80%的行业都需要用到代理IP,不是在很多家庭中一些普通用户在日常生活中也开始使用代理IP。不仅充分

  5. 15

    2019-10

    爬取几次,IP被限制访问了怎么办?

    作为一个互联网工作者,在工作中难免碰到一些这样的问题:如果你是一名淘宝店主,你可能会担心刷单太多被发现惨遭封店;如果你是一名网络推广员,你可能会担心发帖太多导致IP地址被屏

  6. 14

    2019-05

    代理IP软件为需要吸粉的人群带

     接触过互联网营销的人都知道,如今不管从事于什么行业做什么生意都需要吸粉。随着网络事业的发展,有很多依赖于互联网而出现的一些销售和相关行业也开始相继崛起。