黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

通过代理ip进行分布式爬虫的几种方案

发布时间:2019年04月11日 来源:互联网

通过代理ip进行分布式爬虫的几种方案!假如不用代理ip,爬虫业务必定无路可行,因此大部分爬虫工作者都会去购买安全稳定的代理ip。使用了高质量的代理ip后,会不会就能够无后顾之忧了呢?这个可不会这么容易,还要改进方案,有效分配资源,提升工作效率,又快速又稳定又高效的完成爬虫。


通过代理ip进行分布式爬虫的几种方案


方案一、每个进程从接口API中随机取一个IP列表来反复使用,失效后再调用API获取,大致逻辑是这样:


1、每个进程,从接口随机取回一批ip回来,反复试着ip目录去抓取数据;


2、要是访问成功,则继续抓取下一条。


3、要是失败了,再从接口取一批IP,继续尝试。


方案弊端:每个IP都是有期限的,要是提取了一百个,用到第二十个时,或许剩下的大多数都无法使用了。要是设置HTTP请求时连接时间超时是3秒,读取时间超时是5秒,那么或许会耗费3-8秒的时间,在这3-8秒内可能抓取了几百次了。


方案二:每个进程从接口API中随机取一个IP来使用,失败则再调用API获取一个IP,大致逻辑如下:


1、每个进程,从接口随机取回一个ip来,用这个ip来浏览资源,


2、要是访问成功,则继续抓下一条。


3、要是失败了,再从接口随机取一个IP,继续尝试。


方案缺点:调用API获取IP的行为非常频繁,会对代理服务器造成特别大的压力,影响API接口稳定,可能会被限制提取。这类方案也不适合,无法持久稳定的运行。


方案三:先提取大量IP导入本地数据库,从数据库里面取IP,大致逻辑如下:


1、在数据库里面建一个表,写一个导入脚本,每分钟请求多少次API(咨询代理IP服务商建议),把IP列表导入到数据库里面。


2、在数据库里面记录好 导入时间、IP、Port、过期时间、IP可用状态 等字段;


3、写一个抓取脚本,抓取脚本从数据库里面读取可用IP,每个进程从数据库获取一个IP进行使用。


4、执行抓取,对结果进行判断,处理cookie等,只要出现验证码或者失败就放弃这个IP,重新换一个IP。


这种方案有效的避开了代理服务器资源的消耗,有效的分配代理IP的使用,更加的高效和稳定,保障了爬虫工作的持久性和稳定性。


相关文章内容简介

1 通过代理ip进行分布式爬虫的几种方案

通过代理ip进行分布式爬虫的几种方案!假如不用代理ip,爬虫业务必定无路可行,因此大部分爬虫工作者都会去购买安全稳定的代理ip。使用了高质量的代理ip后,会不会就能够无后顾之忧了呢?这个可不会这么容易,还要改进方案,有效分配资源,提升工作效率,又快速又稳定又高效的完成爬虫。方案一、每个进程从接口API中随机取一个IP列表来反复使用,失效后再调用API获取,大致逻辑是这样:1、每个进程,从接口随机取回一批ip回来,反复试着ip目录去抓取数据;2、要是访问成功,则继续抓取下一条。3、要是失败了,再从接口取一批IP,继续尝试。方案弊端:每个IP都是有期限的,要是提取了一百个,用到第二十个时,或许剩下的大多数都无法使用了。要是设置HTTP请求时连接时间超时是3秒,读取时间超时是5秒,那么或许会耗费3-8秒的时间,在这3-8秒内可能抓取了几百次了。方案二:每个进程从接口API中随机取一个IP来使用, [阅读全文]

热门标签

最新标签

推荐阅读

  1. 25

    2019-07

    哪里有一手http代理IP?

    网络市场营销的人员都知道代理IP的用处,一些注册,抢购,投票,数据采集和效果补量等业务都可以使用代理IP来完成。代理IP因其有别于真实IP的优越性而受到广大用户的欢迎。

  2. 21

    2019-09

    代理ip对营销好处

    如今,为用户提供的免费代理ip服务使用人数在不断的增高,而且用户对提供的 http代理 服务赞不绝口。这不仅是提供的免费代理ip服务得到大众的认可,更是免费代理ip逐渐被用户认可和接受的

  3. 01

    2019-06

    IP代理服务器软件工作原理你知道吗?

    然而随着互联网的飞速发展,越来越多的用户在上网过程中暴露个人的隐私信息,做电商的担心店铺刷单太多而造成被封,做营销的担心投票数不够而排不到好的名次…这个时候使用天下数据动

  4. 20

    2019-05

    如何使用代理IP增加某网站文章浏览量

    很多时候,刚发布的文章没什么浏览量,为了吸引读者,很多朋友可能会使用代理IP来增加一些初始浏览量。我们知道,有些网站的文章并不是刷新几次就会增加几个浏览量,需要通过一些技术

  5. 13

    2019-08

    什么是代理上网和反向代理?

    代理上网是指访问 代理服务器 提供的互联网连接。在必须向大量网络用户提供因特网访问的情况下,代理上网是有利的。

  6. 27

    2019-06

    保密安全的代理ip哪里有?

    网络ip代理应该说是一项非常成熟的ip代理服务,对于网络来说是比较特殊的一种网络服务,经过长期的实践证明ip代理服务能够帮助用户保障网络隐私和上网安全,防止被不明网站信息攻击。是