IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

爬虫经常被封有哪些原因有哪些对策

发布时间:2019年06月20日 来源:互联网

  爬虫经常被封有哪些原因有哪些对策?大数据时代下,采集数据常用的方法是写一个爬虫程序向网络服务器请求数据,然后对数据进行解析,然后提取所需要的信息,然而,事情并不能一帆风顺,请求数据时经常受到访问限制,或者被误认为频繁访问恶意攻击网站,对IP进行封禁,导致爬虫程序被终止,timeout httperror等。


爬虫经常被封有哪些原因有哪些对策


  一、首先,检查JavaScript。如果你从网络服务器收到的页面是空白的,缺少信息,或其遇到他不符合你预期的情况(或者不是你在浏览器上看到的内容),有可能是因为网站创建页面的JavaScript执行有问题。


  二、检查正常浏览器提交的参数。如果你准备向网站提交表单或发出POST请求,记得检查一下页面的内容,看看你想提交的每个字段是不是都已经填好,而且格式也正确。用Chrome浏览器的网络面板(快捷键F12打开开发者控制台,然后点击“Network”即可看到)查看发送到网站的POST命令,确认你的每个参数都是正确的。


  三、是否有合法的Cookie?如果你已经登录网站却不能保持登录状态,或者网站上出现了其他的“登录状态”异常,请检查你的cookie。确认在加载每个页面时cookie都被正确调用,而且你的cookie在每次发起请求时都发送到了网站上。


  四、IP被封禁?如果你在客户端遇到了HTTP错误,尤其是403禁止访问错误,这可能说明网站已经把你的IP当作机器人了,不再接受你的任何请求。你要么等待你的IP地址从网站黑名单里移除,要么就换个IP地址(可以购买黑洞代理IP)。如果你确定自己并没有被封杀,那么再检查下面的内容。


  五、确认你的爬虫在网站上的速度不是特别快。快速采集是一种恶习,会对网管的服务器造成沉重的负担,还会让你陷入违法境地,也是IP被网站列入黑名单的首要原因。给你的爬虫增加延迟,让它们在夜深人静的时候运行。切记:匆匆忙忙写程序或收集数据都是拙劣项目管理的表现;应该提前做好计划,避免临阵慌乱。


  六、还有一件必须做的事情:修改你的请求头!有些网站会封杀任何声称自己是爬虫的访问者。如果你不确定请求头的值怎样才算合适,就用你自己浏览器的请求头吧。


  七、确认你没有点击或访问任何人类用户通常不能点击或接入的信息。


  那么,有哪些对策来解决这些问题呢?


  网站防采集的前提就是要正确地区分人类访问用户和网络机器人。虽然网站可以使用很多识别技术(比如验证码)来防止爬虫,但还是有一些十分简单的方法,可以让你的网络机器人看起来更像人类访问用户。


  1、构造合理的HTTP请求头,设置User-Agent。


  2、正常的时间访问间隔,不要在极短的短时间内访问。


  3、多用一些代理ip,让服务器认为是不同的用户在访问。


  4、申请多个key,各个key轮流使用,突破QPS限制和访问次数限额。


相关文章内容简介

1 爬虫经常被封有哪些原因有哪些对策

  爬虫经常被封有哪些原因有哪些对策?大数据时代下,采集数据常用的方法是写一个爬虫程序向网络服务器请求数据,然后对数据进行解析,然后提取所需要的信息,然而,事情并不能一帆风顺,请求数据时经常受到访问限制,或者被误认为频繁访问恶意攻击网站,对IP进行封禁,导致爬虫程序被终止,timeout httperror等。  一、首先,检查JavaScript。如果你从网络服务器收到的页面是空白的,缺少信息,或其遇到他不符合你预期的情况(或者不是你在浏览器上看到的内容),有可能是因为网站创建页面的JavaScript执行有问题。  二、检查正常浏览器提交的参数。如果你准备向网站提交表单或发出POST请求,记得检查一下页面的内容,看看你想提交的每个字段是不是都已经填好,而且格式也正确。用Chrome浏览器的网络面板(快捷键F12打开开发者控制台,然后点击“Network”即可看到)查看发送到网站的POS [阅读全文]

热门标签

最新标签

推荐阅读

  1. 05

    2019-09

    HTTP代理IP怎么运用方便?

    由于互联网的各种约束,导致咱们在拜访网站时经常受限,它的体现可能是无法翻开网页、注册不成功、无法登陆账号等。在这种状况下咱们能够经过运用HTTP代理IP来解决,那么,HTTP代理IP怎么

  2. 20

    2019-03

    新手运营如何做内功优化,IP代理软件帮你

    很多电商新手运营在做内功优化的时候想法很多,具体实操却不知道从何处下手,今天我就先给大家详细梳理一下电商运营中如优化提升的问题,重点讲讲这五大板块:主图、详情页、评价、问

  3. 18

    2019-04

    关于取消宽带48小时断线换IP的解决办法

    可以取消 48 小时断线功能的地区有:湖南电信 安徽电信 江苏电信 江西电信 ,不能取消的地区有:广东 福建 浙江 上海 海南 山东 广西 山西 贵州 重庆 四川。。。广东是态度强硬。说没有这个

  4. 04

    2019-11

    如何检测是否为高匿代理ip?

    如何检测是否为代理ip,为什么要使用代理ip?就是隐藏自己的真实ip,从而达到自我的保护的作用,突破终极目标的反爬机制的限制,那么代理ip是否真的可以隐藏自己的真实ip,如何检测代理ip

  5. 21

    2019-03

    爬虫抓取数据为什么要使用代理IP?

    大数据时代,我们需要海量的信息去帮助我们分析市场、分析用户,因此在爬虫抓取数据的时候,就容易出现IP受限问题。有的网站也会采取防爬取技术,当我们采集信息频次过快的时候,

  6. 18

    2019-03

    IP代理:python学习计算机组成原理与操作系统

    什么是语言?什么是编程语言,语言是一种事物与另外一种事物沟通的介质,编程语言是程序员与计算机沟通的介质