IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

Java利用代理IP发送HTTP请求

发布时间:2019年04月04日 来源:互联网

大数据时代下,数据采集推动着数据分析,数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例,过程中就会面临,IP被封,爬取受限、违法操作等多种问题,所以在爬取数据之前,一定要了解好预爬网站是否涉及违法操作,找到合适的代理IP访问网站等一系列问题。


下文中基于apache的httpclient 4.5.2,代理服务器存在用户名密码鉴权。


首先,针对鉴权,我们需要设置身份验证,并根据配置的身份认证信息来创建一个httpclient。


然后还要创建一个代理,并设置到请求信息中;。


最后是运行请求。


代码如下:


Java利用代理IP发送HTTP请求


在执行测试中小编犯了几个很低级的错误,首先目标URL不可以是localhost/127.0.0.1,归因于这样其实代理服务器请求的是自身,可是由于代理服务器本地并没有部署对应服务,因此会返回失败,小编这里返回的是503错误。还有就是由于小编请求的代理是部署在存储器上的,假如用的是内网IP也是行不通的,因为无法找到那个IP,因此使用前要确认代理是部署在哪的。


相关文章内容简介

1 Java利用代理IP发送HTTP请求

大数据时代下,数据采集推动着数据分析,数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例,过程中就会面临,IP被封,爬取受限、违法操作等多种问题,所以在爬取数据之前,一定要了解好预爬网站是否涉及违法操作,找到合适的代理IP访问网站等一系列问题。下文中基于apache的httpclient 4.5.2,代理服务器存在用户名密码鉴权。首先,针对鉴权,我们需要设置身份验证,并根据配置的身份认证信息来创建一个httpclient。然后还要创建一个代理,并设置到请求信息中;。最后是运行请求。代码如下:在执行测试中小编犯了几个很低级的错误,首先目标URL不可以是localhost/127.0.0.1,归因于这样其实代理服务器请求的是自身,可是由于代理服务器本地并没有部署对应服务,因此会返回失败,小编这里返回的是503错误。还有就是由于小编请求的代理是部署在存储器上的,假 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 03

    2019-07

    使用代理IP原因

    当今世界最有价值的资源是什么?不是石油,而是数据。随着科技不断发展,智能手机和互联网催生了海量数据,不仅无处不在,而且价值逐年攀升。与此同时,用于挖掘采集数据的网络爬虫也

  2. 17

    2019-07

    免费代理IP的安全性有保障吗?

    代理IP就是来代替用户的IP进行访问,代理IP分为普通代理ip、透明代理ip、高匿代理ip,免费代理肯定使用的是透明代理或普通代理,对个人信息是无法起到保护作用的。

  3. 14

    2019-06

    直播主播如何使用代理ip来增加人气和流量?

    现在直播的流量比较大,直播营销也是非常的流行的,有些主播为了自己自己直播间人气增加效果,不得不去做些投机取巧之人去做一下,协议人气,也就是俗称人机来冲人数,冲击在线水军,

  4. 01

    2019-07

    直播如何使用代理IP?

    近几年,若说什么东西在网络上最火爆,那么网红和直播肯定榜上有名。既有老牌的斗鱼、YY,又有后起之秀熊猫、悟空等。当我们访问这些平台直播界面,可以看见不断翻滚的人气互动。在网

  5. 16

    2019-09

    黑洞让http代理ip更专业

    http代理ip是最常见的文本传输协议,用户使用率极高,黑洞为满足用户需求,在http安全版本设计中,让http代理ip更专业,更安全,受到了广大用户的认可与欢迎。

  6. 26

    2019-03

    大数据时代,代理IP助力爬虫工作

    大数据时代,爬虫已经成为很多互联网公司很关键的一个职位或者说是职能部门,现在网上的数据越来越多,爬虫这种自动采集信息的工具,能够花费更少的时间和人力采集数据信息并且加以分