IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

HTTP代理原理解析

发布时间:2019年03月15日 来源:互联网

在整个互联网的Web结构中,HTTP代理服务器是一个出现频率极高的组件(其他还有浏览器、缓存服务器、Web服务器、DNS解析服务器等),理解HTTP代理服务器的原理有助于我们更好地认识Web架构。


代理服务器的位置

HTTP代理原理解析

上图所示就是一个最原始代理服务器的角色:假设你现在在公司的办公室里访问http://www.qq.com,那通常来讲你是通过你们公司的代理服务器在畅游互联网。你本地浏览器的HTTP请求先到达代理服务器,代理服务器收到你的请求之后解析你的请求报文,然后向目标服务器发起HTTP请求,收到目标服务器的响应之后,再把响应报文回复给你。这就是代理服务器的工作流程。


为什么需要代理服务器

有些公司需要限制某些网站不能被员工访问,那么就可以在代理服务器上添加策略:当检测到有员工访问该网站时直接提示;


公司出于安全的考虑,避免员工访问的网站带入病毒,因为所有请求和响应都会经过代理,所以就可以在代理上做病毒检测;


假设员工A和员工B都想访问http://www.qq.com/test.html,那代理服务器可以缓存test.html,这样员工A和B的两个请求可以缩减为一个,降低了网络带宽的开销;


总而言之,代理服务器是一个口子,有了这个口子,我们就可以在这个口子上做任何事情。


代理服务器与缓存服务器

在现实的架构中,代理服务器与缓存服务器的角色越来越模糊,或者说通常把两者合二为一——一个位于客户端和服务端中间位置的服务器既有代理的功能又有缓存的功能,比如我们熟悉的CDN。


反向代理服务器

在代理服务器的基础上,又逐渐衍生出代理反向代理服务器:


HTTP代理原理解析

最原始的代理服务器的代理是指充当客户端的“代理”,那如上图所示的代理则是Web服务器的代理,因此我们给其取名为反向代理服务器。(反向的含义是以前代理客户端,现在代理服务端)


反向代理服务器对外屏蔽了真实的服务器,并且作为服务端的出入口,我们可以在反向代理服务器上添加策略:比如Web攻击防护策略、CC攻击防护策略等。


相关文章内容简介

1 HTTP代理原理解析

在整个互联网的Web结构中,HTTP代理服务器是一个出现频率极高的组件(其他还有浏览器、缓存服务器、Web服务器、DNS解析服务器等),理解HTTP代理服务器的原理有助于我们更好地认识Web架构。代理服务器的位置上图所示就是一个最原始代理服务器的角色:假设你现在在公司的办公室里访问http://www.qq.com,那通常来讲你是通过你们公司的代理服务器在畅游互联网。你本地浏览器的HTTP请求先到达代理服务器,代理服务器收到你的请求之后解析你的请求报文,然后向目标服务器发起HTTP请求,收到目标服务器的响应之后,再把响应报文回复给你。这就是代理服务器的工作流程。为什么需要代理服务器有些公司需要限制某些网站不能被员工访问,那么就可以在代理服务器上添加策略:当检测到有员工访问该网站时直接提示;公司出于安全的考虑,避免员工访问的网站带入病毒,因为所有请求和响应都会经过代理,所以就可以在代理上做病 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 26

    2019-03

    爬虫与刷量用户从哪里寻求http代理ip?

    关于http代理ip从哪里来,这是一个老生常谈的问题,也是困扰很多爬虫初学者的问题,今天我们跟随黑洞http来一起看一下,爬虫用户与刷量用户从哪里寻求http代理ip地址。

  2. 11

    2019-07

    手游多开需要代理IP换IP地址

    手游多开需要换IP地址登陆,现在手游比较火,手游的玩家越来越多了,因此一些游戏工

  3. 12

    2019-11

    怎么用Fiddler抓包工具捕获HTTPS会话

    在使用代理IP的时候我们经常会遇到一些问题, 我们经常通过抓包来分析问题,最常见的是用Fiddler工具来抓包。但在默认情况下,Fiddler不会捕获HTTPS会话,我们一起来看看怎么解决吧。

  4. 11

    2019-11

    如何提高爬虫工作效率,用代理ip!

    代理ip是网络爬虫不可缺少的部分,随着大数据的兴起,每个网站都有自己的庞大的数据信息和每天的更新,个个网站也对自己的网站加强自我保护及信息流失,增加了网站反爬虫机制,在网站

  5. 29

    2019-10

    如何设计和维护代理ip池?

    大数据时代,代理ip是网络爬虫的保护工具,没有代理ip的存在,可能将寸步难行,爬虫对代理IP的需求量比较大。如今很多网站做了反爬虫策略,防止信息数据流失,所以在爬取网站信息的过程

  6. 19

    2019-06

    设置白名单使用代理IP

    设置白名单使用代理IP,这种使用方法是很简单的,下面我们就来看看代理IP的使用情况,如何使用代理IP最好呢?