代理IP从哪找?由于开python培训有讲过爬虫的缘故,这个问题已经被ask无数次了,一般问的**也都是爬虫防ban用的,那么在此,我把我个人尝试过的代理渠道都写一下。总体来讲,质量好的都不便宜,便宜的质量都比较渣,一分钱一分货
1)通过程序扫出来的代理
通过程序扫IP段、端口找出来的临时性代理。
诸如百度搜索“HTTP代理”,写着“每日更新”、“国内高匿免费”什么的都是这类,购买的话都很廉价。我用过的有:黑洞http,还挺好用,方便简单上手,推荐给大家。
2)ADSL拨号服务器
ADSL拨号,断线重连切IP,淘宝有卖的,限定地区拨号、全国拨号都有。相对较稳定,至少比扫描出来的强很多,但切换IP耗时较长,需要几秒到1分钟之间。
所以如果采集是每访问一次切一次IP的话,效率会很慢,只能等当前IP被对方ban掉的时候在拨号换新的IP。
去年刷百度下拉、搞百度点击器的代理切换曾用过ADSL拨号,比较稳定,有些效果,当然也用过上面扫出来的代理,太烂,没法用。但是限于换IP需要断线重连,导致不容易并发执行任务,所以要大规模化要有些成本。
ADSL拨号可以应付对效率要求不高的采集、刷访问量、刷点击之类的。
3)第三方访问
比如通过“谷歌网页翻译”、“有道网页翻译”、“http代理浏览器”等第三方访问渠道请求目标网页。
速度慢,且采集捕获目标内容的时候多了很多干扰。
4)VPN软件
诸如“flyvpn”、“green vpn”,采集是IP被ban了直接换一个,VPN软件本身靠谱代理还是挺稳定的,就是人得在电脑旁边,手动换一次。但是偶尔查查几万关键词的百度排名、几万页面收录,用VPN还是挺悠闲的,这点量级总共也换不了多少次。
5)自建代理
买一台服务器,利用squid+stunnel搭建一台HTTP高匿代理服务器,Tinyproxy也行。squit用来实现http代理,stunnel在代理的基础上建一条隧道实现加密。
如果觉得ip数量少,就多买几台服务器,依次配置squid~~
由于是自建代理,都是独享且是真实的IP,所有相当稳定。采集、抢购、刷票、刷点击、刷主播人气什么的都可以干,只有有钱上机子就行~~
去年接了一个爬虫单子,抓国外某股票网站,共千万页面量级,反爬虫做的挺恶心,无奈买了20台低配机子做HTTP代理服务器,一个月5000成本~~
5)自建代理服务商
如果上面方法自己懒得搞,也没有关系。找个做类似服务的商家,开个api端口即可。
相关资讯
相关文章内容简介
1 代理IP从哪找?
代理IP从哪找?由于开python培训有讲过爬虫的缘故,这个问题已经被ask无数次了,一般问的**也都是爬虫防ban用的,那么在此,我把我个人尝试过的代理渠道都写一下。总体来讲,质量好的都不便宜,便宜的质量都比较渣,一分钱一分货 1)通过程序扫出来的代理 通过程序扫IP段、端口找出来的临时性代理。 诸如百度搜索“HTTP代理”,写着“每日更新”、“国内高匿免费”什么的都是这类,购买的话都很廉价。我用过的有:黑洞http,还挺好用,方便简单上手,推荐给大家。 2)ADSL拨号服务器 ADSL拨号,断线重连切IP,淘宝有卖的,限定地区拨号、全国拨号都有。相对较稳定,至少比扫描出来的强很多,但切换IP耗时较长,需要几秒到1分钟之间。 所以如果采集是每访问一次切一次IP的话,效率会很慢,只能等当前IP被对方ban掉的时候在拨号换新的IP。 去年刷百度下拉、搞百度点击器的代理切换曾 [阅读全文]
推荐阅读
18
2019-09
Python如何切换代理IP?
随着大数据的应用越来越广泛,应用的行业也越来越多,我们每日都可以看到大数据的一些新颖的应用,从而帮助人们从中获取到真正有用的价值,随着很多工作的开展,我们需要大量的IP操作
23
2019-03
不用代理IP,用爬虫如何批量爬取抖音热门视频
于自媒体营销推广来说,想要快速看到营销效果,必然需要大量频繁操作,这就很容易受到IP限制,不过现在市面上有很多代理IP软件可以解决这个问题。像论坛发帖、微博推广、百度问答等等
03
2019-07
如何分类http代理?
HTTP代理指的是使用代理服务器使网络用户访问外部网站。代理服务器是介于浏览器和Web服务器之间的一台服务器,是建立在超文本传输协议上的网络浏览方式,作用是可以防伪部分对协议进行
18
2019-05
如何购买代理IP最划算
衡量购买一个产品是否划算,最直接的办法就是核对支出和收入是否成正比。例如你购买一个商品花了100块,你通过这个商品盈利120,那你的购买就是划算的。如今互联网市场,网页换IP软件多
30
2019-05
使用代理IP上网更安全
我们知道,当我们上网时,我们的真实IP可能会被泄露,当被别有用心的人获取到时则可能会对我们造成一些伤害。而如果使用了代理IP上网后,则完美的隐藏了我们的本机真实IP,多加了一份安
24
2019-05
代理IP稳定吗?能用多久?
黑洞HTTP的代理ip实效性较强,一般有效期在20分钟到4小时不等。
热门文章
注意: 严禁一切违规违法的业务,一经发现直接封帐号
Powered by wanchen tech. © | 粤ICP备18047396号-6 广州万宸软件科技有限公司http代理 版权所有