IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何获取免费爬虫IP代理?

发布时间:2019年04月28日 来源:http://http.hunbovps.com/News/getList/catid/8/id/414.html

  如何获取免费爬虫IP代理?本文只简单介绍一下代理ip的获取和使用

如何获取免费爬虫IP代理?

       如何获取代理ip?


  可以写一个小爬虫来爬取这些免费ip代理网站上的代理IP和端口号。


  注意:可用率真的很低,需要再次筛选后才能使用。在java爬虫中使用代理ip


  使用代理IP的完整实现代码:


  package cn.mwxu16.DaiLi_IP;


  import java.io.IOException;


  import org.apache.http.HttpEntity;


  import org.apache.http.HttpHost;


  import org.apache.http.client.config.RequestConfig;


  import org.apache.http.client.methods.CloseableHttpResponse;


  import org.apache.http.client.methods.HttpGet;


  import org.apache.http.impl.client.CloseableHttpClient;


  import org.apache.http.impl.client.HttpClients;


  import org.apache.http.util.EntityUtils;


  /*


  * Demo1


  * 使用代理IP


  */


  public class Demo1 {


  public static void main(String[] args) throws Exception{


  CloseableHttpClient httpClient = HttpClients.createDefault(); // 创建一个HTTPClient对象


  HttpGet httpget = new HttpGet("http://www.baidu.com";); // 创建HTTP的get请求实例


  //==========设置代理IP


  HttpHost proxy = new HttpHost("58.243.207.87",9858 ); //设置代理IP的地址和端口号


  RequestConfig config =RequestConfig.custom().setProxy(proxy).build();


  httpget.setConfig(config);


  //===================


  // 设置请求头信息,模拟浏览器,这里使用火狐浏览器的User-Agent


  httpget.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0");


  CloseableHttpResponse response = null; // 创建CloseableHttpResponse对象


  response = httpClient.execute(httpget);


  HttpEntity entity = response.getEntity(); // 获取返回实体(即返回的网页源码)


  System.out.println(EntityUtils.toString(entity, "utf-8")); //输出网页源码


  closeAll(response, httpClient); //释放资源


  }


  // 关闭所有资源


  public static void closeAll(CloseableHttpResponse response, CloseableHttpClient httpClient) {


  // 关闭资源


  try {


  response.close(); // 关闭response


  } catch (IOException e) { // IO异常


  e.printStackTrace();


  }


  try {


  httpClient.close(); // 关闭httpClient


  } catch (IOException e) { // IO异常


  e.printStackTrace();


  }


  }


  }


相关文章内容简介

1 如何获取免费爬虫IP代理?

  如何获取免费爬虫IP代理?本文只简单介绍一下代理ip的获取和使用       如何获取代理ip?  可以写一个小爬虫来爬取这些免费ip代理网站上的代理IP和端口号。  注意:可用率真的很低,需要再次筛选后才能使用。在java爬虫中使用代理ip  使用代理IP的完整实现代码:  package cn.mwxu16.DaiLi_IP;  import java.io.IOException;  import org.apache.http.HttpEntity;  import org.apache.http.HttpHost;  import org.apache.http.client.config.RequestConfig;  import org.apache.http.client.methods.CloseableHttpRespons [阅读全文]

热门标签

最新标签

推荐阅读

  1. 13

    2019-11

    如何验证代理IP是否可用?

    首先说说思路:将抓到的IP和端口从MySQL数据表中取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用

  2. 28

    2019-06

    抢购就用代理IP

    如果你对代理IP的理解认知还停留在,代理IP可以用来访问我们被限制的网站,那就OUT了,要知道现在是网络科技时代,网络瞬息万变,所以我们也要跟上网络的发展,时代的脚步,就说这代理IP

  3. 04

    2019-06

    c#爬虫和python要用什么代理ip服务器软件?

    c#爬虫和python要用什么代理ip?我用c#,java都写过爬虫。区别不大,原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的。因为目前对python并不熟,所以也不知道这

  4. 09

    2019-07

    选择代理IP需要了解什么?

    代理类型一共能分为四种。透明代理,匿名代理,高匿代理,还有混淆代理。

  5. 24

    2019-06

    代理ip哪家比较好用?

    如果需要大量的中国的代理ip,哪家是不错的呢?价格如何?质量如何?数量如何呢?多人都需要使用国内代理ip的,如果能找个不错的商家,这样用起来也是不错的。

  6. 13

    2019-04

    电脑怎么设置修改代理IP地址?

    处在局域网中的计算机无论是有线无线连接的,有时候会出现无网络访问权限,右下角有一个黄色感叹号,也可能会遇到被网管限制带宽、限制浏览等情况,这些操作通常都是针对ip地址实