IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

Java利用代理IP发送HTTP请求

发布时间:2019年04月04日 来源:互联网

大数据时代下,数据采集推动着数据分析,数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例,过程中就会面临,IP被封,爬取受限、违法操作等多种问题,所以在爬取数据之前,一定要了解好预爬网站是否涉及违法操作,找到合适的代理IP访问网站等一系列问题。


下文中基于apache的httpclient 4.5.2,代理服务器存在用户名密码鉴权。


首先,针对鉴权,我们需要设置身份验证,并根据配置的身份认证信息来创建一个httpclient。


然后还要创建一个代理,并设置到请求信息中;。


最后是运行请求。


代码如下:


Java利用代理IP发送HTTP请求


在执行测试中小编犯了几个很低级的错误,首先目标URL不可以是localhost/127.0.0.1,归因于这样其实代理服务器请求的是自身,可是由于代理服务器本地并没有部署对应服务,因此会返回失败,小编这里返回的是503错误。还有就是由于小编请求的代理是部署在存储器上的,假如用的是内网IP也是行不通的,因为无法找到那个IP,因此使用前要确认代理是部署在哪的。


相关文章内容简介

1 Java利用代理IP发送HTTP请求

大数据时代下,数据采集推动着数据分析,数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例,过程中就会面临,IP被封,爬取受限、违法操作等多种问题,所以在爬取数据之前,一定要了解好预爬网站是否涉及违法操作,找到合适的代理IP访问网站等一系列问题。下文中基于apache的httpclient 4.5.2,代理服务器存在用户名密码鉴权。首先,针对鉴权,我们需要设置身份验证,并根据配置的身份认证信息来创建一个httpclient。然后还要创建一个代理,并设置到请求信息中;。最后是运行请求。代码如下:在执行测试中小编犯了几个很低级的错误,首先目标URL不可以是localhost/127.0.0.1,归因于这样其实代理服务器请求的是自身,可是由于代理服务器本地并没有部署对应服务,因此会返回失败,小编这里返回的是503错误。还有就是由于小编请求的代理是部署在存储器上的,假 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 22

    2019-05

    爬虫代理ip资源是新媒体的宠儿?

    如今很多创业人员都开始投身于新媒体的发展,但是在新媒体发展的过程中爬虫代理ip平台功不可没。因为其实很多新媒体发展的初期都会通过在一些贴吧发帖,或者一些加密软件来进行吸粉。

  2. 27

    2019-09

    使用代理IP访问淘宝

    淘宝网是亚太地区较大的综合类C2C网上购物平台,目前拥有注册会员数以亿计,各类店铺成千上万。那么这么多店铺,这么多商品,它们是以什么方式排名呢?在这里为大家科普下,电商平台排

  3. 15

    2019-07

    独享代理IP哪里买?

    我们在进行大批量注册账号的时候,需要用到代理ip。例如,我们想要在某一个网站上进行注册国内IP代理,而且是想注册多个账号,那么,这个时候,就是需要使用http代理。在网络上,可以找

  4. 03

    2019-07

    http代理IP如何隐藏IP地址?

    我们在上网时,经常会不经意暴露自己的IP地址,在网络技术如此发达的今天,小小的IP地址也有可能成为泄漏个人隐私的罪魁祸首。为了保护自己的网络隐私安全,可以利用国内代理IP。国内代

  5. 29

    2019-05

    爬虫工作为什么要使用优质的代理IP?

    作为网络爬虫工作者应该都知道,要想高效的爬虫工作持久的进行,除了高效合理的代码设计,还需要高效优质的代理IP。很多爬虫工作者发现,爬着爬着就不爬了,断掉了,报错了,超时了,

  6. 20

    2019-05

    代理ip如何维护你的隐私安全?

    HTTP代理ip在之前其实并不会被人们时常接触到,但是随着时代的发展,互联网的不断进步。越来越多的人开始意识到HTTP代理ip的重要性,开始在人们的生活中占据越来越重要的地位,越来越多