黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

HTTP代理是如何爬取数据的

发布时间:2019年03月20日 来源:互联网

第一种为普通代理。这种http代理扮演得是一个中介得角色,对于链接到他的客户端来说,他就是服务器,而对于服务端来说他就是客户端。他的任务就是负责两个端口之间传送http报文。


第二种为隧道代理。他通过http协议得正文部分(Body)完成通讯,以http的方式实现任意基于TCP的应用层协议代理。这种代理使用http的connect方法建立链接。


普通代理


第一种web代理原理是:


HTTP 客户端向代理发送请求报文,代理服务器需要正确地处理请求和连接(例如正确处理 Connection: keep-alive),同时向服务器发送请求,并将收到的响应转发给客户端。


下面这张图片来自于《HTTP 权威指南》,直观地展示了上述行为:


HTTP代理是如何爬取数据的

假设客户通过代理网站访问A网站,对于A来讲他会把代理当作客户端,真正的网民使用的真实地址,他是察觉不到的,完全实现隐藏,

而客户端IP的目的。也可以修改http头部,通过X-Forwarded-IP 这样的自定义头部告知服务端真正的客户端IP。但服务器无法验证这个自定义头部真的是由代理添加,还是客户端修改了请求头,所以从 HTTP 头部字段获取 IP 时,需要格外小心。


给浏览器显式的指定代理,需要手动修改浏览器或操作系统相关设置,或者指定 PAC(Proxy Auto-Configuration,自动配置代理)文件自动设置,还有些浏览器支持 WPAD(Web Proxy Autodiscovery Protocol,Web 代理自动发现协议)。显式指定浏览器代理这种方式一般称之为正向代理,浏览器启用正向代理后,会对 HTTP 请求报文做一些修改,来规避老旧代理服务器的一些问题。还有一种情况是访问 A 网站时,实际上访问的是代理,代理收到请求报文后,再向真正提供服务的服务器发起请求,并将响应转发给浏览器。这种情况一般被称之为反向代理,它可以用来隐藏服务器 IP 及端口。一般使用反向代理后,需要通过修改 DNS 让域名解析到代理服务器 IP,这时浏览器无法察觉到真正服务器的存在,当然也就不需要修改配置了。反向代理是 Web 系统最为常见的一种部署方式,例如本博客就是使用 Nginx 的 proxy_pass 功能将浏览器请求转发到背后的 Node.js 服务。

HTTP代理是如何爬取数据的

隧道代理


第二种 Web 代理的原理也很简单:


HTTP 客户端通过 CONNECT 方法请求隧道代理创建一条到达任意目的服务器和端口的 TCP 连接,并对客户端和服务器之间的后继数据进行盲转发。


下面这张图片同样来自于《HTTP 权威指南》,直观地展示了上述行为:

HTTP代理是如何爬取数据的

假如我通过代理访问 A 网站,浏览器首先通过 CONNECT 请求,让代理创建一条到 A 网站的 TCP 连接;一旦 TCP 连接建好,代理无脑转发后续流量即可。所以这种代理,理论上适用于任意基于 TCP 的应用层协议,HTTPS 网站使用的 TLS 协议当然也可以。这也是这种代理为什么被称为隧道的原因。


相关文章内容简介

1 HTTP代理是如何爬取数据的

第一种为普通代理。这种http代理扮演得是一个中介得角色,对于链接到他的客户端来说,他就是服务器,而对于服务端来说他就是客户端。他的任务就是负责两个端口之间传送http报文。第二种为隧道代理。他通过http协议得正文部分(Body)完成通讯,以http的方式实现任意基于TCP的应用层协议代理。这种代理使用http的connect方法建立链接。普通代理第一种web代理原理是:HTTP 客户端向代理发送请求报文,代理服务器需要正确地处理请求和连接(例如正确处理 Connection: keep-alive),同时向服务器发送请求,并将收到的响应转发给客户端。下面这张图片来自于《HTTP 权威指南》,直观地展示了上述行为:假设客户通过代理网站访问A网站,对于A来讲他会把代理当作客户端,真正的网民使用的真实地址,他是察觉不到的,完全实现隐藏,而客户端IP的目的。也可以修改http头部,通过X-Fo [阅读全文]

热门标签

最新标签

推荐阅读

  1. 12

    2018-09

    http是啥?http代理服务器那些事你不容错过

    超文本传输协议(HTTP,HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。

  2. 26

    2019-10

    爬虫的IP被限制该怎么办?

    俗话说,拥有大数据的人,就是拥有财富的人。现代社会,使用爬虫爬取数据,是一项非常重要的手段。

  3. 19

    2019-03

    代理IP软件可以隐藏IP地址吗?

    在某些场合(例如论坛发贴时)有些网友希望能隐藏自己的IP地址,以免IP被记下,为安全起见,QQ聊天时也不希望别人知道自己的IP……可是如何在网上隐藏自己的IP地址呢?告诉你,方法很简单,

  4. 26

    2019-09

    代理服务器出现的原因

    通常情况下,爬虫用户自己是没有能力去自己维护服务器或者是自己搞定免费ip代理的问题的,一来是因为技术含量太高,二来是因为成本太高当然,也有很多人会在网上放一些免费的免费ip代

  5. 19

    2019-06

    HTTP代理IP能让用户访问网络不受限吗

    经常从事网络行业的用户对于HTTP代理IP自然不会陌生,由于很多网站访问受限,使人们无法顺利访问一些网站,尤其是做网络爬虫,一旦进了对方网站黑名单,将严重影响数据抓取的工作效率。

  6. 04

    2019-11

    营销推广运用代理ip有什么用?

    营销推广对于每个行业都需要面对的,从传统行业线下推广直到现在的互联网线上销售,销售模式都是一样,只是方式不同,提高知名度,是每个行业的生存需要面对的,随着线上交易的增长,