IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

Python简易实现IP代理池及其维护

发布时间:2019年03月21日 来源:http://http.hunbovps.com/News/getList/catid/8/id/170.html

Python简易实现IP代理池及其维护

用处

通过自己购买或爬取到的ip,在程序中使用这些ip进行代理,达到绕过反爬虫机制的效果以及其他用途。


思路

从各大免费的ip网站抓取ip,存入数据库,使用时按序取出使用。注:存入及使用前先验证ip是否可用


我们在这里使用 西刺 这里网站里的免费ip,数据库使用mongodb


使用到的库

request 


re 


json


结构

IpPool


__init__.py


panel


config.py


main.py


Code

init.py

我们在这个文件中写一个爬虫的基类,方便我们拓展不同的网站

Python简易实现IP代理池及其维护

Python简易实现IP代理池及其维护

config.py

在这里我们放一些参数,方便我们配置程序


Python简易实现IP代理池及其维护


mian.py

Python简易实现IP代理池及其维护上面就是这个ip爬取的主要框架,接下来开始接入西刺这个网站,在panel文件夹中新建文件 XICI.py

Python简易实现IP代理池及其维护Python简易实现IP代理池及其维护

再回到 main.py 使用process()函数开始爬虫


main.py

Python简易实现IP代理池及其维护

ip池的使用


我们可以在使用时先从数据库中将所有 ip 取出,安装队列的形式或者列表随机抽取的形式进行维护,当ip不可用时,从数据库中删除该ip,当出现ip被封时放回队列或者列表,这里不做过多的介绍


相关文章内容简介

1 Python简易实现IP代理池及其维护

Python简易实现IP代理池及其维护用处通过自己购买或爬取到的ip,在程序中使用这些ip进行代理,达到绕过反爬虫机制的效果以及其他用途。思路从各大免费的ip网站抓取ip,存入数据库,使用时按序取出使用。注:存入及使用前先验证ip是否可用我们在这里使用 西刺 这里网站里的免费ip,数据库使用mongodb使用到的库request re json结构IpPool__init__.pypanelconfig.pymain.pyCodeinit.py我们在这个文件中写一个爬虫的基类,方便我们拓展不同的网站config.py在这里我们放一些参数,方便我们配置程序mian.py上面就是这个ip爬取的主要框架,接下来开始接入西刺这个网站,在panel文件夹中新建文件 XICI.py再回到 main.py 使用process()函数开始爬虫main.pyip池的使用我们可以在使用时先 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 09

    2019-09

    HTTPS代理和http代理服务器

    代理客户机的http访问,主要代理浏览器访问网页,它的端口一般为80、8080、3128等。 协议编辑 HTTP协议即超文本传输协议,是Internet上行信息传输时使用最为广泛的一种非常简单的通信协议。部

  2. 18

    2019-03

    IP代理:大数据到底从何而来?

    既然化零为整的大数据平台有这么多的优势,那么这个平台落到实处应该长什么样子呢?我们不妨更进一步来探讨一下这个问题。还记得之前我们谈到过大数据思维重视的是全量样本数据而不是

  3. 22

    2019-05

    为什么要用高匿代理ip刷单?

    在一些网络销售平台上存在的刷单现象是众所周知的,其实在如今来说,很多消费者都不觉得它是一种欺骗消费者的行为了,更多的能够展现自己的实力。因为当我们通过某著名电商平台去购物

  4. 05

    2019-06

    可用的代理ip地址有些?

    提到IP代理,很多经常上网的人都知道,也都明白其中的意思,就是将自己的IP更换为其它的IP,它的好处就是不会被他人发现,从而很好地保护自己。正是鉴于这样的作用,网上出现了各种各样

  5. 26

    2019-04

    使用动态IP代理爬取网站的都是哪些爬虫(二)

    这里是黑洞代理IPIP代理小编带来的使用动态IP代理爬取网站的都是哪些爬虫第二篇。

  6. 16

    2019-05

    快速稳定的代理ip才是好的代理ip

    不同的人对代理ip的要求不尽相同,但是拥有一款优质的代理ip是每个用户所追求的。优质的代理ip主要看两个方面:稳定,只有代理ip稳定,持续时间才会很长且不用频繁的更换ip;快速,速度