IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

Java利用代理IP发送HTTP请求

发布时间:2019年04月04日 来源:互联网

大数据时代下,数据采集推动着数据分析,数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例,过程中就会面临,IP被封,爬取受限、违法操作等多种问题,所以在爬取数据之前,一定要了解好预爬网站是否涉及违法操作,找到合适的代理IP访问网站等一系列问题。


下文中基于apache的httpclient 4.5.2,代理服务器存在用户名密码鉴权。


首先,针对鉴权,我们需要设置身份验证,并根据配置的身份认证信息来创建一个httpclient。


然后还要创建一个代理,并设置到请求信息中;。


最后是运行请求。


代码如下:


Java利用代理IP发送HTTP请求


在执行测试中小编犯了几个很低级的错误,首先目标URL不可以是localhost/127.0.0.1,归因于这样其实代理服务器请求的是自身,可是由于代理服务器本地并没有部署对应服务,因此会返回失败,小编这里返回的是503错误。还有就是由于小编请求的代理是部署在存储器上的,假如用的是内网IP也是行不通的,因为无法找到那个IP,因此使用前要确认代理是部署在哪的。


相关文章内容简介

1 Java利用代理IP发送HTTP请求

大数据时代下,数据采集推动着数据分析,数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例,过程中就会面临,IP被封,爬取受限、违法操作等多种问题,所以在爬取数据之前,一定要了解好预爬网站是否涉及违法操作,找到合适的代理IP访问网站等一系列问题。下文中基于apache的httpclient 4.5.2,代理服务器存在用户名密码鉴权。首先,针对鉴权,我们需要设置身份验证,并根据配置的身份认证信息来创建一个httpclient。然后还要创建一个代理,并设置到请求信息中;。最后是运行请求。代码如下:在执行测试中小编犯了几个很低级的错误,首先目标URL不可以是localhost/127.0.0.1,归因于这样其实代理服务器请求的是自身,可是由于代理服务器本地并没有部署对应服务,因此会返回失败,小编这里返回的是503错误。还有就是由于小编请求的代理是部署在存储器上的,假 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 01

    2019-06

    优质爬虫http代理ip怎么选择?

    最近跟几个爬虫采集的客户聊天,无论互联网行业发展到何种地步,“资源”永远是任何互联网公司必不可少的弹药粮草。夸大些讲,任何一个互联网公司都会用到不同类型的数据。

  2. 23

    2019-07

    如何保证IP代理质量呢?

    最近有很多朋友反映遇到的IP代理质量有问题,那遇到这种问题该如何解决呢,又该如何保证IP代理质量呢,下面就教大家如何搭建稳定的IP代理池,因为只有IP代理稳定后才能真正的保证IP代理

  3. 26

    2019-10

    代理ip刷单要注意什么?

    销量展示非常重要,这样可以提高我们网店的流量和客户,所以刷单是很正常的。但刷单是违规操作,所以要注意很多才能顺利完成。刷单要用代理IP换IP大家都知道,除此之外,还有很多要注

  4. 05

    2019-08

    代理IP和http代理服务器适用哪些业务

    我们在网络上娱乐的时候,有的时候会用到代理ip。说到代理IP很多人或觉得有些陌生,甚至一些了解的人也只是认为IP上网是比较小众的事情。但是随着互联网的高速发展,与其有关的一切事物

  5. 21

    2019-07

    访问代理IP的时候如何提高速度?

    提高下载速度,突破下载限制。是很多人在访问代理IP会做的选择,比如有的网站提供的下载资源,做了一IP一线程的限制,这时候可以用影音传送带,设置多线程,为每个线程设置一个代理。

  6. 11

    2019-11

    HTTP协议的工作原理和代理IP关系

    我们打开浏览器,输入网址,然后就看到了网页,这是我们上网经常做的事情,那么原理是什么呢?