IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何获取免费爬虫IP代理?

发布时间:2019年04月28日 来源:http://http.hunbovps.com/News/getList/catid/8/id/414.html

  如何获取免费爬虫IP代理?本文只简单介绍一下代理ip的获取和使用

如何获取免费爬虫IP代理?

       如何获取代理ip?


  可以写一个小爬虫来爬取这些免费ip代理网站上的代理IP和端口号。


  注意:可用率真的很低,需要再次筛选后才能使用。在java爬虫中使用代理ip


  使用代理IP的完整实现代码:


  package cn.mwxu16.DaiLi_IP;


  import java.io.IOException;


  import org.apache.http.HttpEntity;


  import org.apache.http.HttpHost;


  import org.apache.http.client.config.RequestConfig;


  import org.apache.http.client.methods.CloseableHttpResponse;


  import org.apache.http.client.methods.HttpGet;


  import org.apache.http.impl.client.CloseableHttpClient;


  import org.apache.http.impl.client.HttpClients;


  import org.apache.http.util.EntityUtils;


  /*


  * Demo1


  * 使用代理IP


  */


  public class Demo1 {


  public static void main(String[] args) throws Exception{


  CloseableHttpClient httpClient = HttpClients.createDefault(); // 创建一个HTTPClient对象


  HttpGet httpget = new HttpGet("http://www.baidu.com";); // 创建HTTP的get请求实例


  //==========设置代理IP


  HttpHost proxy = new HttpHost("58.243.207.87",9858 ); //设置代理IP的地址和端口号


  RequestConfig config =RequestConfig.custom().setProxy(proxy).build();


  httpget.setConfig(config);


  //===================


  // 设置请求头信息,模拟浏览器,这里使用火狐浏览器的User-Agent


  httpget.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0");


  CloseableHttpResponse response = null; // 创建CloseableHttpResponse对象


  response = httpClient.execute(httpget);


  HttpEntity entity = response.getEntity(); // 获取返回实体(即返回的网页源码)


  System.out.println(EntityUtils.toString(entity, "utf-8")); //输出网页源码


  closeAll(response, httpClient); //释放资源


  }


  // 关闭所有资源


  public static void closeAll(CloseableHttpResponse response, CloseableHttpClient httpClient) {


  // 关闭资源


  try {


  response.close(); // 关闭response


  } catch (IOException e) { // IO异常


  e.printStackTrace();


  }


  try {


  httpClient.close(); // 关闭httpClient


  } catch (IOException e) { // IO异常


  e.printStackTrace();


  }


  }


  }


相关文章内容简介

1 如何获取免费爬虫IP代理?

  如何获取免费爬虫IP代理?本文只简单介绍一下代理ip的获取和使用       如何获取代理ip?  可以写一个小爬虫来爬取这些免费ip代理网站上的代理IP和端口号。  注意:可用率真的很低,需要再次筛选后才能使用。在java爬虫中使用代理ip  使用代理IP的完整实现代码:  package cn.mwxu16.DaiLi_IP;  import java.io.IOException;  import org.apache.http.HttpEntity;  import org.apache.http.HttpHost;  import org.apache.http.client.config.RequestConfig;  import org.apache.http.client.methods.CloseableHttpRespons [阅读全文]

热门标签

最新标签

推荐阅读

  1. 22

    2019-07

    http代理服务器功能强大吗?

    中国虽大,但网络上HTTP代理服务器却少之又少,很多急需IP的开发者都尝试找过,结果百度搜不到,连问了几家IP供应商也说没有,这时候我们该如何解决?方法其实很简单,可以使用。拥有庞

  2. 02

    2019-08

    代理IP用错有什么后果?

    代理IP软件是一种辅助工具,可以帮助顺利完成工作,解决IP被封、效率低的问题。因此,代理IP软件是深受欢迎的。但还是有很多人对其并不是很了解,那么,为什么要用代理IP软件呢?

  3. 17

    2019-05

    怎么辨别代理ip的稳定性?

    公网开放代理服务器受网络带宽、访问量、服务器本身性能等多种因素影响,稳定性普遍较低。

  4. 23

    2019-03

    企业爬虫一般通过动态代理ip获取哪些信息?

    随着互联网的飞速发展,各行各业都逐渐应用了大数据,通过数据的变化,可以知道行业发展情况,并做出调整,那么企业利用代理ip让爬虫采集什么数据?毕竟数据并不一定都能产生价值的,

  5. 09

    2019-08

    怎么对HTTP代理进行设置

    HTTP代理相信大家都不陌生,有很多网站我们都是需要使用代理才能连接上去,HTTP代理就是不错的选择。但是很多人都不知道HTTP代理的设置方法,下面来为大家进行详细的介绍。

  6. 01

    2019-07

    代理IP如何让上网更安全?

    当今时代,互联网已经渗透到了我们生活中的方方面面,随着移动设备的普及和应用,从前繁琐的操作,如今只需要动动手指就可以轻松达到。然而在我们享受网络科技便利的同时,也不能忽视