IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何获取免费爬虫IP代理?

发布时间:2019年04月28日 来源:http://http.hunbovps.com/News/getList/catid/8/id/414.html

  如何获取免费爬虫IP代理?本文只简单介绍一下代理ip的获取和使用

如何获取免费爬虫IP代理?

       如何获取代理ip?


  可以写一个小爬虫来爬取这些免费ip代理网站上的代理IP和端口号。


  注意:可用率真的很低,需要再次筛选后才能使用。在java爬虫中使用代理ip


  使用代理IP的完整实现代码:


  package cn.mwxu16.DaiLi_IP;


  import java.io.IOException;


  import org.apache.http.HttpEntity;


  import org.apache.http.HttpHost;


  import org.apache.http.client.config.RequestConfig;


  import org.apache.http.client.methods.CloseableHttpResponse;


  import org.apache.http.client.methods.HttpGet;


  import org.apache.http.impl.client.CloseableHttpClient;


  import org.apache.http.impl.client.HttpClients;


  import org.apache.http.util.EntityUtils;


  /*


  * Demo1


  * 使用代理IP


  */


  public class Demo1 {


  public static void main(String[] args) throws Exception{


  CloseableHttpClient httpClient = HttpClients.createDefault(); // 创建一个HTTPClient对象


  HttpGet httpget = new HttpGet("http://www.baidu.com";); // 创建HTTP的get请求实例


  //==========设置代理IP


  HttpHost proxy = new HttpHost("58.243.207.87",9858 ); //设置代理IP的地址和端口号


  RequestConfig config =RequestConfig.custom().setProxy(proxy).build();


  httpget.setConfig(config);


  //===================


  // 设置请求头信息,模拟浏览器,这里使用火狐浏览器的User-Agent


  httpget.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0");


  CloseableHttpResponse response = null; // 创建CloseableHttpResponse对象


  response = httpClient.execute(httpget);


  HttpEntity entity = response.getEntity(); // 获取返回实体(即返回的网页源码)


  System.out.println(EntityUtils.toString(entity, "utf-8")); //输出网页源码


  closeAll(response, httpClient); //释放资源


  }


  // 关闭所有资源


  public static void closeAll(CloseableHttpResponse response, CloseableHttpClient httpClient) {


  // 关闭资源


  try {


  response.close(); // 关闭response


  } catch (IOException e) { // IO异常


  e.printStackTrace();


  }


  try {


  httpClient.close(); // 关闭httpClient


  } catch (IOException e) { // IO异常


  e.printStackTrace();


  }


  }


  }


相关文章内容简介

1 如何获取免费爬虫IP代理?

  如何获取免费爬虫IP代理?本文只简单介绍一下代理ip的获取和使用       如何获取代理ip?  可以写一个小爬虫来爬取这些免费ip代理网站上的代理IP和端口号。  注意:可用率真的很低,需要再次筛选后才能使用。在java爬虫中使用代理ip  使用代理IP的完整实现代码:  package cn.mwxu16.DaiLi_IP;  import java.io.IOException;  import org.apache.http.HttpEntity;  import org.apache.http.HttpHost;  import org.apache.http.client.config.RequestConfig;  import org.apache.http.client.methods.CloseableHttpRespons [阅读全文]

热门标签

最新标签

推荐阅读

  1. 20

    2019-05

    如何获取高匿代理IP资源

    我们知道,代理IP分为透明代理、普匿代理和高匿代理,其中透明代理会被目标服务器识别并知晓真实IP,普匿代理会被目标服务器识别使用了代理但并不知道真实IP,高匿代理不会被服务器知

  2. 07

    2019-08

    为什么要使用http代理服务器?

    在我们的生活工作中常常会使用到网络,代理IP也越来越受到人们的欢迎,特别是对于一些专业的网络营销人员来说,这种代理服务器是他们生活工作必不可少的工具。就如同我们平时上网一样

  3. 09

    2019-08

    怎么对HTTP代理进行设置

    HTTP代理相信大家都不陌生,有很多网站我们都是需要使用代理才能连接上去,HTTP代理就是不错的选择。但是很多人都不知道HTTP代理的设置方法,下面来为大家进行详细的介绍。

  4. 15

    2019-04

    adsl动态IP拨号服务器是什么?

    adsl拨号服务器又叫动态拨号vps、动态IP vps或者拨号vps,主要是相对于平常所见到的固定IP 的VPS服务器而言的。黑洞adsl拨号服务器可以在VPS服务器上实现更换IP的作用,拨一次号换一次IP,从而实

  5. 04

    2019-09

    独享代理IP有什么优势?

    扫描公网代理与独享ip代理质量区别,许多人都不知道ip代理与ip代理之间是有区别的,因为其ip资源来源不同。如果你的ip代理经常用着就不行了,那么你就要看看你使用的是否是扫描公网代理

  6. 08

    2019-11

    改IP地址有什么影响?

    我们经常说的IP地址,实际上指的是网络协议的地址,一般来说都是不能改变的,很多小伙伴都会有一个疑问,那就是改IP地址后会不会对电脑有什么影响呢?想知道的小伙伴就请跟小编一起往下