IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

python最强的代理池,突破IP的封锁爬取海量数据

发布时间:2019年03月12日 来源:互联网

Python现在非常火,语法简单而且功能强大,很多同学都想学Python!那么如何用Python做一个最强代理池去突破ip的封锁呢?


python最强的代理池,突破IP的封锁爬取海量数据

推荐:一个强大到超乎你的想象的异步IP池项目——async-proxy-pool


随着大型网站反扒机制的增强,更改IP登陆已经成为一种最高效的方式,为此打造一款超强IP池项目,采用最新最快的Python技术——异步(Async )。编写了一个免费的异步爬虫代理池,以 Python asyncio 为基础,充分利用 Python 的异步性能,异步处理比同步处理能提升成百上千倍的效率,速度堪比GO语言。




项目介绍


本项目通过爬虫抓取互联网上免费代理网站的IP,并且进行异步检测是否可用,如果可用就放入数据库。定时对数据库中的代理进行维护,然后通过web api的形式供外部使用。


项目运行环境

项目使用了 sanic,一个异步网络框架。所以建议运行 Python 环境为 Python3.5+,并且 sanic 不支持 Windows 系统,Windows 用户可以考虑使用 Ubuntu on Windows。


总体架构


项目主要几大模块分别是爬取模块,存储模块,校验模块,调度模块,接口模块。

爬取模块crawler.py

负责爬取代理网站,并将所得到的代理存入到数据库,每个代理的初始化权值为 INIT_SCORE。

存储模块database.py

封装了 Redis 操作的一些接口,提供 Redis 连接池。

校验模块validator.py


验证代理 IP 是否可用,如果代理可用则权值 +1,最大值为 MAX_SCORE。不可用则权值 -1,直至权值为 0 时将代理从数据库中删除。

调度模块scheduler.py

负责调度爬取器和校验器的运行。

接口模块webapi.py

使用 sanic 提供 WEB API (服务器提供接口)。


如何使用

安装 Redis

项目数据库使用了 Redis,Redis 是一个开源(BSD 许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。所以请确保运行环境已经正确安装了 Redis。安装方法请参照官网指南。


项目源码

点击关注、转发、私信小编"史上最强代理池",就能免费获取强大的异步爬虫代理池项目源码。


安装依赖

$ pip install -r requirements.txt

使用API获取代理

运行代码后,访问http://127.0.0.1:5000/进入主页,如果显示'Welcome',证明成功启动。

访问http://127.0.0.1:5000/get可以获取一个可用代理。

也可以在程序代码中用相应的语言获取,例如:

import requests

from bs4 import BeautifulSoup

import lxml


def get_proxy():

 r = requests.get('http://127.0.0.1:5000/get')

 proxy = BeautifulSoup(r.text, "lxml").get_text()

 return proxy

Sanic 性能测试


使用 wrk 进行服务器压力测试。基准测试 30 秒, 使用 12 个线程, 并发 400 个 http 连接。测试 http://127.0.0.1:3289/


$ wrk -t12 -c400 -d30s http://127.0.0.1:3289/

Running 30s test @ http://127.0.0.1:3289/

 12 threads and 400 connections

 Thread Stats Avg Stdev Max +/- Stdev

 Latency 34.63ms 12.66ms 96.28ms 58.07%

 Req/Sec 0.96k 137.29 2.21k 73.29%

 342764 requests in 30.10s, 49.69MB read

Requests/sec: 11387.89

Transfer/sec: 1.65MB

⭐️ Requests/sec: 11387.89


我们看到了什么?平均每秒钟11387.89个请求,就问你们怕不怕。机器性能更好一下,就是一波DOS攻击了。


4实际代理性能测试

实测效果

https://taobao.com(测试淘宝)

测试代理: http://localhost:3289/get/20

测试网站: https://taobao.com/

测试次数: 1000

成功次数: 984

失败次数: 16

成功率: 0.984


https://baidu.com(测试百度)

测试代理: http://localhost:3289/get/20

测试网站: https://baidu.com

测试次数: 1000

成功次数: 975

失败次数: 25

成功率: 0.975


https://zhihu.com(测试知乎)

测试代理: http://localhost:3289/get/20

测试网站: https://zhihu.com

测试次数: 1000

成功次数: 1000

失败次数: 0

成功率: 1.0


可以看到其实性能是非常棒的,成功率极高,如果你想要方便快捷使用高质量代理ip,相信黑洞HTTP可以满足你的需求!


相关文章内容简介

1 python最强的代理池,突破IP的封锁爬取海量数据

Python现在非常火,语法简单而且功能强大,很多同学都想学Python!那么如何用Python做一个最强代理池去突破ip的封锁呢?推荐:一个强大到超乎你的想象的异步IP池项目——async-proxy-pool随着大型网站反扒机制的增强,更改IP登陆已经成为一种最高效的方式,为此打造一款超强IP池项目,采用最新最快的Python技术——异步(Async )。编写了一个免费的异步爬虫代理池,以 Python asyncio 为基础,充分利用 Python 的异步性能,异步处理比同步处理能提升成百上千倍的效率,速度堪比GO语言。项目介绍本项目通过爬虫抓取互联网上免费代理网站的IP,并且进行异步检测是否可用,如果可用就放入数据库。定时对数据库中的代理进行维护,然后通过web api的形式供外部使用。项目运行环境项目使用了 sanic,一个异步网络框架。所以建议运行 Python 环境为 Pyt [阅读全文]

热门标签

最新标签

推荐阅读

  1. 19

    2019-03

    动态ip代理为你详解这些长得很像的代理模式

    什么是HTTP代理?HTTP团队路径是什么?HTTPS是一个复杂的HTTP数字吗?初次接触这种代理的新程序员不可避免地会感到困惑。这篇文章告诉你这些非常相似的代理是什么?

  2. 15

    2019-10

    IP地址被封就用代理ip

    如果在网络平台上操作过快或者注册很多个帐号的时候,IP就会受到限制,不允许登录或发布消息,这样只有找其他IP来替换才能解决。那么,IP地址被封怎么换IP呢?

  3. 18

    2019-04

    代理ip是如何使用的?

    ip是上网需要唯一的身份地址,身份凭证,而代理ip就是我们上网过程中的一个中间平台,是由你的电脑先访问代理ip,之后再由代理ip访问你点开的页面,所以在这个页面的访问记录里留下的是

  4. 21

    2019-08

    http代理服务器哪家好

    每一个经营网站的人员应该都有这样的体会,这几年的白帽SEO越来越难做了,伴随搜索引擎技术的发展,要想通过本分的操作使得网站排名靠前的话,这要花费巨大的精力财力,而且随时还有排

  5. 11

    2019-10

    爬虫需要代理IP的原因?

    通常情况下,爬虫用户自己是没有能力去自己维护服务器或者是自己搞定代理ip的问题的,一来是因为技术含量太高,二来是因为成本太高当然,也有很多人会在网上放一些免费的代理ip,但是

  6. 21

    2019-05

    如何选择优质的爬虫代理IP

    或许我们在网上冲浪的时候,有时候会用到代理的,爬虫代理在目前是很火热的。之所以要用到爬虫代理,是因为我们有时候需要更换ip,但是如何选择优质的爬虫代理供应商呢?