IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

HTTP代理是如何爬取数据的

发布时间:2019年04月24日 来源:互联网

  HTTP代理是如何爬取数据的 !存在2种形式,下面为大家简单的介绍一下


  第一种为普通代理。这种http代理扮演得是一个中介得角色,对于链接到他的客户端来说,他就是服务器,而对于服务端来说他就是客户端。他的任务就是负责两个端口之间传送http报文。


  第二种为隧道代理。他通过http协议得正文部分(Body)完成通讯,以http的方式实现任意基于TCP的应用层协议代理。这种代理使用http的connect方法建立链接。


  普通代理


  第一种web代理原理是:


  HTTP 客户端向代理发送请求报文,代理服务器需要正确地处理请求和连接(例如正确处理 Connection: keep-alive),同时向服务器发送请求,并将收到的响应转发给客户端。


  下面这张图片来自于《HTTP 权威指南》,直观地展示了上述行为:

HTTP代理是如何爬取数据的

  假设客户通过代理网站访问A网站,对于A来讲他会把代理当作客户端,真正的网民使用的真实地址,他是察觉不到的,完全实现隐藏,而客户端IP的目的。也可以修改http头部,通过X-Forwarded-IP 这样的自定义头部告知服务端真正的客户端IP。但服务器无法验证这个自定义头部真的是由代理添加,还是客户端修改了请求头,所以从 HTTP 头部字段获取 IP 时,需要格外小心。


  给浏览器显式的指定代理,需要手动修改浏览器或操作系统相关设置,或者指定 PAC(Proxy Auto-Configuration,自动配置代理)文件自动设置,还有些浏览器支持 WPAD(Web Proxy Autodiscovery Protocol,Web 代理自动发现协议)。显式指定浏览器代理这种方式一般称之为正向代理,浏览器启用正向代理后,会对 HTTP 请求报文做一些修改,来规避老旧代理服务器的一些问题。还有一种情况是访问 A 网站时,实际上访问的是代理,代理收到请求报文后,再向真正提供服务的服务器发起请求,并将响应转发给浏览器。这种情况一般被称之为反向代理,它可以用来隐藏服务器 IP 及端口。一般使用反向代理后,需要通过修改 DNS 让域名解析到代理服务器 IP,这时浏览器无法察觉到真正服务器的存在,当然也就不需要修改配置了。反向代理是 Web 系统最为常见的一种部署方式,例如本博客就是使用 Nginx 的 proxy_pass 功能将浏览器请求转发到背后的 Node.js 服务。

HTTP代理是如何爬取数据的

  隧道代理


  第二种 Web 代理的原理也很简单:


  HTTP 客户端通过 CONNECT 方法请求隧道代理创建一条到达任意目的服务器和端口的 TCP 连接,并对客户端和服务器之间的后继数据进行盲转发。


  下面这张图片同样来自于《HTTP 权威指南》,直观地展示了上述行为:


HTTP代理是如何爬取数据的

  假如我通过代理访问 A 网站,浏览器首先通过 CONNECT 请求,让代理创建一条到 A 网站的 TCP 连接;一旦 TCP 连接建好,代理无脑转发后续流量即可。所以这种代理,理论上适用于任意基于 TCP 的应用层协议,HTTPS 网站使用的 TLS 协议当然也可以。这也是这种代理为什么被称为隧道的原因。


相关文章内容简介

1 HTTP代理是如何爬取数据的

  HTTP代理是如何爬取数据的 !存在2种形式,下面为大家简单的介绍一下  第一种为普通代理。这种http代理扮演得是一个中介得角色,对于链接到他的客户端来说,他就是服务器,而对于服务端来说他就是客户端。他的任务就是负责两个端口之间传送http报文。  第二种为隧道代理。他通过http协议得正文部分(Body)完成通讯,以http的方式实现任意基于TCP的应用层协议代理。这种代理使用http的connect方法建立链接。  普通代理  第一种web代理原理是:  HTTP 客户端向代理发送请求报文,代理服务器需要正确地处理请求和连接(例如正确处理 Connection: keep-alive),同时向服务器发送请求,并将收到的响应转发给客户端。  下面这张图片来自于《HTTP 权威指南》,直观地展示了上述行为:  假设客户通过代理网站访问A网站,对于A来讲他会把代理当作客户端,真正的网民 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 22

    2019-05

    高匿代理ip在销售中有什么作用?

    在电商流行起来之前,我们做生意首先浮现在脑海中的就是要拥有一个实体店铺,而店铺的选址必须要选在有固定客流量的地方。但是如今电商横行,虽然不能完全摒除实体店铺,但是也应紧

  2. 28

    2019-09

    为什么要使用ip代理?

    为什么要使用ip代理?您可能知道,ip代理是一台隐藏您的 真实IP 地址并充当您的新Web入口点的计算机。 如果您一直想知道何时需要代理ip,您可能想知道应该使用代理ip的原因。

  3. 02

    2019-04

    网络营销最有效的推广方式——http代理

    问答类网站(知乎、百度问答)具有极强的互动性,可快速传播信息。作为重要的网络推广方式之一不得不提,问答类网站推广属于口碑推广的手段之一。利用问答类网站,结合SEO的技巧,抛出用

  4. 03

    2019-10

    代理IP爬虫被封怎么解决?

    现在爬虫越来越火,大到征信,小到房产信息,汽车,身边的所有生活都于爬虫相关。随着爬虫越来越强,反爬虫的技术也越来越先进.出现了各种各样的验证码,以前还只是数字类,后来图片类,最变态是

  5. 23

    2019-04

    网络营销要换IP用代理IP

    现在这个时代是流量和数据的时代,当一个平台数据流量越大的时候,其吸引客户和入住的商家的能力越强。现在很多的商家都是比较重视网络上面的一些推广,有些产业推广出来的效果也是比

  6. 27

    2019-08

    常见的6种应用层反反爬虫的技术

    端逆向,利用的特点边是暴露,暴露的项目则是前端所有的代码和数据给客户,通过分析html,js等源代码获取数据的技术。Chrome Debug就是常用的前端逆向工具。动态渲染的网站是通常用前端逆向