IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何获取免费爬虫IP代理?

发布时间:2019年04月28日 来源:http://http.hunbovps.com/News/getList/catid/8/id/414.html

  如何获取免费爬虫IP代理?本文只简单介绍一下代理ip的获取和使用

如何获取免费爬虫IP代理?

       如何获取代理ip?


  可以写一个小爬虫来爬取这些免费ip代理网站上的代理IP和端口号。


  注意:可用率真的很低,需要再次筛选后才能使用。在java爬虫中使用代理ip


  使用代理IP的完整实现代码:


  package cn.mwxu16.DaiLi_IP;


  import java.io.IOException;


  import org.apache.http.HttpEntity;


  import org.apache.http.HttpHost;


  import org.apache.http.client.config.RequestConfig;


  import org.apache.http.client.methods.CloseableHttpResponse;


  import org.apache.http.client.methods.HttpGet;


  import org.apache.http.impl.client.CloseableHttpClient;


  import org.apache.http.impl.client.HttpClients;


  import org.apache.http.util.EntityUtils;


  /*


  * Demo1


  * 使用代理IP


  */


  public class Demo1 {


  public static void main(String[] args) throws Exception{


  CloseableHttpClient httpClient = HttpClients.createDefault(); // 创建一个HTTPClient对象


  HttpGet httpget = new HttpGet("http://www.baidu.com";); // 创建HTTP的get请求实例


  //==========设置代理IP


  HttpHost proxy = new HttpHost("58.243.207.87",9858 ); //设置代理IP的地址和端口号


  RequestConfig config =RequestConfig.custom().setProxy(proxy).build();


  httpget.setConfig(config);


  //===================


  // 设置请求头信息,模拟浏览器,这里使用火狐浏览器的User-Agent


  httpget.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0");


  CloseableHttpResponse response = null; // 创建CloseableHttpResponse对象


  response = httpClient.execute(httpget);


  HttpEntity entity = response.getEntity(); // 获取返回实体(即返回的网页源码)


  System.out.println(EntityUtils.toString(entity, "utf-8")); //输出网页源码


  closeAll(response, httpClient); //释放资源


  }


  // 关闭所有资源


  public static void closeAll(CloseableHttpResponse response, CloseableHttpClient httpClient) {


  // 关闭资源


  try {


  response.close(); // 关闭response


  } catch (IOException e) { // IO异常


  e.printStackTrace();


  }


  try {


  httpClient.close(); // 关闭httpClient


  } catch (IOException e) { // IO异常


  e.printStackTrace();


  }


  }


  }


相关文章内容简介

1 如何获取免费爬虫IP代理?

  如何获取免费爬虫IP代理?本文只简单介绍一下代理ip的获取和使用       如何获取代理ip?  可以写一个小爬虫来爬取这些免费ip代理网站上的代理IP和端口号。  注意:可用率真的很低,需要再次筛选后才能使用。在java爬虫中使用代理ip  使用代理IP的完整实现代码:  package cn.mwxu16.DaiLi_IP;  import java.io.IOException;  import org.apache.http.HttpEntity;  import org.apache.http.HttpHost;  import org.apache.http.client.config.RequestConfig;  import org.apache.http.client.methods.CloseableHttpRespons [阅读全文]

热门标签

最新标签

推荐阅读

  1. 19

    2019-09

    为何要使用高匿代理ip?

    虽然说电商事业发展的越来越快,但是在整个电商大行业下,还是分有很多类的。近几年兴起的电商和传统的淘宝行业还是不同的。因为淘宝处在一个被动的位置,不需要淘宝大肆宣传也会有客

  2. 12

    2019-11

    怎么用Fiddler抓包工具捕获HTTPS会话

    在使用代理IP的时候我们经常会遇到一些问题, 我们经常通过抓包来分析问题,最常见的是用Fiddler工具来抓包。但在默认情况下,Fiddler不会捕获HTTPS会话,我们一起来看看怎么解决吧。

  3. 21

    2019-05

    哪里的代理IP支持http/https/Socks5等协议

    现在代理ip越来越被人们重视,这是因为人们发现代理ip越来越有用处,而且我们在上网的时候,很多时候都要用到代理的,而且要找个支持http/https/Socks5代理使用。

  4. 11

    2019-05

    ip代理软件哪个好

    ip代理软件是一种可以在指定的时间内快速获高效获取代理ip的,获取的代理IP 备份数据库,进行24小时动态循环,能够自动过滤无效的代理ip,高效高质,成功率高达99%,软件还支持指定过滤、

  5. 23

    2019-05

    私密代理ip为隐私保驾护航

    使用者在使用代理IP时,隐私安全是无法得到保障的,而这也成为限制代理ip发展的一个主要愿意,针对这一问题,黑洞HTTP首先提出了一个解决办法,那就是私密代理ip。

  6. 13

    2019-06

    代理IP要从哪儿获取呢?

    如果你百度,其实会有蛮多免费代理IP的网站,里面会有很多的代理IP,但是不要太开心,因为这里的代理IP大都不稳定甚至失效(不然为什么那么多都要钱呢),所以当你批量爬下来代理IP后