IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > 国内代理 > 正文

爬虫攻略:网站在哪些地方设置反爬虫

发布时间:2019年02月14日 来源:互联网

    自有网络以来,就一直存在爬虫和反爬虫,越是大网站,越是成熟的网站,其反爬虫机制越完善,最初的IP限制,验证码限制,还有其他的限制,今天小编跟大家一起去了解下网站在哪些地方设置反爬虫,而爬虫又是怎么应对的。


    1.用户行为反爬虫


    有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。


    大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。我们可以将代理IP检测之后保存在文件当中,但这种方法并不可取,代理IP失效的可能性很高,因此从专门的代理IP网站实时抓取,是个不错的选择。


    对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。


    还有针对cookies,通过检查cookies来判断用户是否是有效用户,需要登录的网站常采用这种技术。更深入一点的还有,某些网站的登录会动态更新验证,登录时,会随机分配用于登录验证的authenticity_token,authenticity_token会和用户提交的登录名和密码一起发送回服务器。


爬虫攻略:网站在哪些地方设置反爬虫


    2.通过Headers反爬虫


    从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。


    如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。


    3.限定某些IP访问


    免费的代理IP可以从很多网站获取到,既然爬虫可以利用这些代理IP进行网站抓取,网站也可以利用这些代理IP反向限制,通过抓取这些IP保存在服务器上来限制利用代理IP进行抓取的爬虫。


    4.动态页面的反爬虫


    有的时候将目标页面抓取下来,发现关键的信息内容空白一片,只有框架代码,这是因为该网站的信息是通过用户Post的XHR动态返回内容信息,解决这种问题的方法就是通过开发者工具(FireBug等)对网站流进行分析,找到单独的内容信息request(如Json),对内容信息进行抓取,获取所需内容。


    更复杂一点的还有对动态请求加密的,参数无法解析,也就无法进行抓取。这种情况下,可以通过Mechanize,selenium RC,调用浏览器内核,就像真实使用浏览器上网那样抓取,可以最大限度的抓取成功,只不过效率上会打些折扣。


    以上介绍了“网站在哪些地方设置反爬虫”,但也不仅仅是以上的几种,还有更多的反爬虫,大家也可以分享出来。


相关文章内容简介

1 爬虫攻略:网站在哪些地方设置反爬虫

    自有网络以来,就一直存在爬虫和反爬虫,越是大网站,越是成熟的网站,其反爬虫机制越完善,最初的IP限制,验证码限制,还有其他的限制,今天小编跟大家一起去了解下网站在哪些地方设置反爬虫,而爬虫又是怎么应对的。    1.用户行为反爬虫    有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。    大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。我们可以将代理IP检测之后保存在文件当中,但这种方法并不可取,代理IP失效的可能性很高,因此从专门的代理IP网站实时抓取,是个不错的选择。    对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 06

    2019-05

    什么是http代理服务器呢?

    HTTP代理 提供两个中间角色作为HTTP客户端和HTTP服务器,用于安全性,管理和缓存功能。 HTTP代理 将HTTP客户端请求从Web浏览器路由到Internet,同时支持Internet数据的缓存。

  2. 25

    2019-04

    ip被封怎么办?用代理IP解决(二)

    网站封的依据一般是单位时间内特定IP的访问次数.将采集的任务按 目标站点的IP进行分组通过控制每个IP 在单位时间内发出任务的个数,来避免被封.当然,这个前题是采集很多网站.如果只是采集

  3. 23

    2019-08

    代理IP是网红直播提高人气的秘诀吗?

    最近几年,各种各样的问答平台火爆发展,网红和直播行业更是一路飙升,各种小视频、游戏主播平台捧红了万千人心中的男神女神,除了之前的老牌平台斗鱼、YY,现在正在发展的还有熊猫、

  4. 06

    2019-05

    HTTP和HTTP代理有什么关系?

    HTTP(超文本传输??协议)是用于在因特网上发送和显示文件(文本,图形图像,声音,视频和其他多媒体文件)的协议。HTTP代理是一种高性能内容过滤器。它检查Web流量以识别可疑内容,可能

  5. 28

    2019-05

    代理IP在生活中是否实用?

    有些手机用户肯定遇到过这样的情况,某一天收到通讯录好友发过来的短信,上面是一串网址,前面写着您的照片已经传到这个网址里了。有些用户戒备心比较小,冲动之下点开之后才发现自己

  6. 19

    2019-04

    使用IP代理可以防止真实IP被跟踪吗?

    我们使用IP代理就是为了隐藏我们真实的IP地址,保护隐私,防止追踪。黑洞代理都能够为您提供海量纯净高匿名的代理IP,满足您的各种使用需求。因此在选择IP代理前,我们需要了解一下IP代