IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

HTTP代理是如何爬取数据的

发布时间:2019年03月20日 来源:互联网

第一种为普通代理。这种http代理扮演得是一个中介得角色,对于链接到他的客户端来说,他就是服务器,而对于服务端来说他就是客户端。他的任务就是负责两个端口之间传送http报文。


第二种为隧道代理。他通过http协议得正文部分(Body)完成通讯,以http的方式实现任意基于TCP的应用层协议代理。这种代理使用http的connect方法建立链接。


普通代理


第一种web代理原理是:


HTTP 客户端向代理发送请求报文,代理服务器需要正确地处理请求和连接(例如正确处理 Connection: keep-alive),同时向服务器发送请求,并将收到的响应转发给客户端。


下面这张图片来自于《HTTP 权威指南》,直观地展示了上述行为:


HTTP代理是如何爬取数据的

假设客户通过代理网站访问A网站,对于A来讲他会把代理当作客户端,真正的网民使用的真实地址,他是察觉不到的,完全实现隐藏,

而客户端IP的目的。也可以修改http头部,通过X-Forwarded-IP 这样的自定义头部告知服务端真正的客户端IP。但服务器无法验证这个自定义头部真的是由代理添加,还是客户端修改了请求头,所以从 HTTP 头部字段获取 IP 时,需要格外小心。


给浏览器显式的指定代理,需要手动修改浏览器或操作系统相关设置,或者指定 PAC(Proxy Auto-Configuration,自动配置代理)文件自动设置,还有些浏览器支持 WPAD(Web Proxy Autodiscovery Protocol,Web 代理自动发现协议)。显式指定浏览器代理这种方式一般称之为正向代理,浏览器启用正向代理后,会对 HTTP 请求报文做一些修改,来规避老旧代理服务器的一些问题。还有一种情况是访问 A 网站时,实际上访问的是代理,代理收到请求报文后,再向真正提供服务的服务器发起请求,并将响应转发给浏览器。这种情况一般被称之为反向代理,它可以用来隐藏服务器 IP 及端口。一般使用反向代理后,需要通过修改 DNS 让域名解析到代理服务器 IP,这时浏览器无法察觉到真正服务器的存在,当然也就不需要修改配置了。反向代理是 Web 系统最为常见的一种部署方式,例如本博客就是使用 Nginx 的 proxy_pass 功能将浏览器请求转发到背后的 Node.js 服务。

HTTP代理是如何爬取数据的

隧道代理


第二种 Web 代理的原理也很简单:


HTTP 客户端通过 CONNECT 方法请求隧道代理创建一条到达任意目的服务器和端口的 TCP 连接,并对客户端和服务器之间的后继数据进行盲转发。


下面这张图片同样来自于《HTTP 权威指南》,直观地展示了上述行为:

HTTP代理是如何爬取数据的

假如我通过代理访问 A 网站,浏览器首先通过 CONNECT 请求,让代理创建一条到 A 网站的 TCP 连接;一旦 TCP 连接建好,代理无脑转发后续流量即可。所以这种代理,理论上适用于任意基于 TCP 的应用层协议,HTTPS 网站使用的 TLS 协议当然也可以。这也是这种代理为什么被称为隧道的原因。


相关文章内容简介

1 HTTP代理是如何爬取数据的

第一种为普通代理。这种http代理扮演得是一个中介得角色,对于链接到他的客户端来说,他就是服务器,而对于服务端来说他就是客户端。他的任务就是负责两个端口之间传送http报文。第二种为隧道代理。他通过http协议得正文部分(Body)完成通讯,以http的方式实现任意基于TCP的应用层协议代理。这种代理使用http的connect方法建立链接。普通代理第一种web代理原理是:HTTP 客户端向代理发送请求报文,代理服务器需要正确地处理请求和连接(例如正确处理 Connection: keep-alive),同时向服务器发送请求,并将收到的响应转发给客户端。下面这张图片来自于《HTTP 权威指南》,直观地展示了上述行为:假设客户通过代理网站访问A网站,对于A来讲他会把代理当作客户端,真正的网民使用的真实地址,他是察觉不到的,完全实现隐藏,而客户端IP的目的。也可以修改http头部,通过X-Fo [阅读全文]

热门标签

最新标签

推荐阅读

  1. 09

    2019-08

    如何快速掌握HTTP协议的方法

    HTTP协议在网络中是至关重要的存在,不仅影响着浏览器、爬虫、代理服务器,还对防火墙、CND、微服务等多方便有着不小的影响。由于HTTP协议的规范并不是统一的,需要面对各种软件的版本。

  2. 26

    2019-07

    最新http代理服务器

    说起IP大家都不陌生,在因特网中http代理服务器,它是能使连接到网上的所有计算机网络实现相互通信的一套规则,规定了计算机在因特网上进行通信时应当遵守的规则。何厂家生产的计算机系

  3. 14

    2019-07

    代理ip帮助网站推广引爆流量?

    这应该是从互联网发展起来之后比较普遍的一种推广方式了,但是当然前提是你要找到足够多的群,并且你要想办法加进去,也不能一进去就给自己打广告,那样只会让人反感,所以进入一个新

  4. 18

    2019-03

    IP代理:大数据到底从何而来?

    既然化零为整的大数据平台有这么多的优势,那么这个平台落到实处应该长什么样子呢?我们不妨更进一步来探讨一下这个问题。还记得之前我们谈到过大数据思维重视的是全量样本数据而不是

  5. 29

    2019-10

    手机换IP有什么用?怎么换ip?

    网销人员,日常需要很多不同的ip地址,更换IP是一件寻常到不能再寻常的基本操作,IP的更换也能够让互联网工作人员能够更好地开展工作。平时我们都会更加关注电脑IP的更滑而忽视了手机

  6. 25

    2019-11

    ip代理服务器对匿名访问有优势吗?

    现在使用 ip代理服务器 的消费者是越来越多,并且他们的使用用途也是不一样。可能很多没有使用ip代理服务器的人都不知道,ip代理服务器都有哪些用途?今天西拉代理就带大家看看ip代理服