IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

代理IP从哪找?

发布时间:2019年04月17日 来源:互联网

  代理IP从哪找?由于开python培训有讲过爬虫的缘故,这个问题已经被ask无数次了,一般问的**也都是爬虫防ban用的,那么在此,我把我个人尝试过的代理渠道都写一下。总体来讲,质量好的都不便宜,便宜的质量都比较渣,一分钱一分货


代理IP从哪找?


  1)通过程序扫出来的代理


  通过程序扫IP段、端口找出来的临时性代理。


  诸如百度搜索“HTTP代理”,写着“每日更新”、“国内高匿免费”什么的都是这类,购买的话都很廉价。我用过的有:黑洞http,还挺好用,方便简单上手,推荐给大家。


  2)ADSL拨号服务器


  ADSL拨号,断线重连切IP,淘宝有卖的,限定地区拨号、全国拨号都有。相对较稳定,至少比扫描出来的强很多,但切换IP耗时较长,需要几秒到1分钟之间。


  所以如果采集是每访问一次切一次IP的话,效率会很慢,只能等当前IP被对方ban掉的时候在拨号换新的IP。


  去年刷百度下拉、搞百度点击器的代理切换曾用过ADSL拨号,比较稳定,有些效果,当然也用过上面扫出来的代理,太烂,没法用。但是限于换IP需要断线重连,导致不容易并发执行任务,所以要大规模化要有些成本。


  ADSL拨号可以应付对效率要求不高的采集、刷访问量、刷点击之类的。


  3)第三方访问


  比如通过“谷歌网页翻译”、“有道网页翻译”、“http代理浏览器”等第三方访问渠道请求目标网页。


  速度慢,且采集捕获目标内容的时候多了很多干扰。


  4)VPN软件


  诸如“flyvpn”、“green vpn”,采集是IP被ban了直接换一个,VPN软件本身靠谱代理还是挺稳定的,就是人得在电脑旁边,手动换一次。但是偶尔查查几万关键词的百度排名、几万页面收录,用VPN还是挺悠闲的,这点量级总共也换不了多少次。


  5)自建代理


  买一台服务器,利用squid+stunnel搭建一台HTTP高匿代理服务器,Tinyproxy也行。squit用来实现http代理,stunnel在代理的基础上建一条隧道实现加密。


  如果觉得ip数量少,就多买几台服务器,依次配置squid~~


  由于是自建代理,都是独享且是真实的IP,所有相当稳定。采集、抢购、刷票、刷点击、刷主播人气什么的都可以干,只有有钱上机子就行~~


  去年接了一个爬虫单子,抓国外某股票网站,共千万页面量级,反爬虫做的挺恶心,无奈买了20台低配机子做HTTP代理服务器,一个月5000成本~~


  5)自建代理服务商


  如果上面方法自己懒得搞,也没有关系。找个做类似服务的商家,开个api端口即可。


相关文章内容简介

1 代理IP从哪找?

  代理IP从哪找?由于开python培训有讲过爬虫的缘故,这个问题已经被ask无数次了,一般问的**也都是爬虫防ban用的,那么在此,我把我个人尝试过的代理渠道都写一下。总体来讲,质量好的都不便宜,便宜的质量都比较渣,一分钱一分货  1)通过程序扫出来的代理  通过程序扫IP段、端口找出来的临时性代理。  诸如百度搜索“HTTP代理”,写着“每日更新”、“国内高匿免费”什么的都是这类,购买的话都很廉价。我用过的有:黑洞http,还挺好用,方便简单上手,推荐给大家。  2)ADSL拨号服务器  ADSL拨号,断线重连切IP,淘宝有卖的,限定地区拨号、全国拨号都有。相对较稳定,至少比扫描出来的强很多,但切换IP耗时较长,需要几秒到1分钟之间。  所以如果采集是每访问一次切一次IP的话,效率会很慢,只能等当前IP被对方ban掉的时候在拨号换新的IP。  去年刷百度下拉、搞百度点击器的代理切换曾 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 04

    2019-11

    营销推广运用代理ip有什么用?

    营销推广对于每个行业都需要面对的,从传统行业线下推广直到现在的互联网线上销售,销售模式都是一样,只是方式不同,提高知名度,是每个行业的生存需要面对的,随着线上交易的增长,

  2. 20

    2019-05

    做爬虫在哪里可以选购高效的代理IP

    大数据时代来临,大数据从何而来?大数据来自爬虫辛勤的爬取网站信息,帮助搜索引擎成为一个辅助人们检索信息的工具。爬虫是网络数据中的重要组成部分,然而并不是所有目标网站都会

  3. 11

    2019-05

    ip代理软件的用途

    现在可能很多人都不知道ip代理软件有什么作用,其实主要是应用于一些从事网赚,网上谋生的人的工作。这些软件可以给我们提供大量的ip让我们在工作当中有充分的供应量。我们再也不用

  4. 10

    2019-08

    什么是IP代理,其中的工作原理是怎么样的?

    不知大家对于IP代理都是否熟悉呢,其实有一部分是知道的,那么对于不太了解的人们来说究竟什么是IP代理, 它的工作原理是怎么样的呢,下面小编就以这些问题,帮大家分析总结一下相关的

  5. 20

    2019-09

    爬虫代理IP怎么用于工作?

     经过完善和优化,可以选择一个可用的代理服务,主要是文件系统或数据库的。

  6. 21

    2019-05

    IP代理满足IP切换最大需求

    互联网时代快速发展的今天,各类与互联网息息相关的事物如雨后春笋般涌现而出,其中,互联网上大量的同质网站让消费者眼花缭乱,在同比之下,消费者更愿意选择访问量大的网站。为此,