黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

Python简易实现IP代理池及其维护

发布时间:2019年03月21日 来源:http://http.hunbovps.com/News/getList/catid/8/id/170.html

Python简易实现IP代理池及其维护

用处

通过自己购买或爬取到的ip,在程序中使用这些ip进行代理,达到绕过反爬虫机制的效果以及其他用途。


思路

从各大免费的ip网站抓取ip,存入数据库,使用时按序取出使用。注:存入及使用前先验证ip是否可用


我们在这里使用 西刺 这里网站里的免费ip,数据库使用mongodb


使用到的库

request 


re 


json


结构

IpPool


__init__.py


panel


config.py


main.py


Code

init.py

我们在这个文件中写一个爬虫的基类,方便我们拓展不同的网站

Python简易实现IP代理池及其维护

Python简易实现IP代理池及其维护

config.py

在这里我们放一些参数,方便我们配置程序


Python简易实现IP代理池及其维护


mian.py

Python简易实现IP代理池及其维护上面就是这个ip爬取的主要框架,接下来开始接入西刺这个网站,在panel文件夹中新建文件 XICI.py

Python简易实现IP代理池及其维护Python简易实现IP代理池及其维护

再回到 main.py 使用process()函数开始爬虫


main.py

Python简易实现IP代理池及其维护

ip池的使用


我们可以在使用时先从数据库中将所有 ip 取出,安装队列的形式或者列表随机抽取的形式进行维护,当ip不可用时,从数据库中删除该ip,当出现ip被封时放回队列或者列表,这里不做过多的介绍


相关文章内容简介

1 Python简易实现IP代理池及其维护

Python简易实现IP代理池及其维护用处通过自己购买或爬取到的ip,在程序中使用这些ip进行代理,达到绕过反爬虫机制的效果以及其他用途。思路从各大免费的ip网站抓取ip,存入数据库,使用时按序取出使用。注:存入及使用前先验证ip是否可用我们在这里使用 西刺 这里网站里的免费ip,数据库使用mongodb使用到的库request re json结构IpPool__init__.pypanelconfig.pymain.pyCodeinit.py我们在这个文件中写一个爬虫的基类,方便我们拓展不同的网站config.py在这里我们放一些参数,方便我们配置程序mian.py上面就是这个ip爬取的主要框架,接下来开始接入西刺这个网站,在panel文件夹中新建文件 XICI.py再回到 main.py 使用process()函数开始爬虫main.pyip池的使用我们可以在使用时先 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 05

    2019-09

    比较好的ip代理哪里有?

    不知道大家发现没有,在浏览某些网站或者论坛是可以清清楚楚的看到自己的IP地址,显然你已经被”记录在案”了。不仅如此,有些比较懂电脑的朋友也可以通过QQ等聊天通讯软件看到你的IP地

  2. 14

    2019-11

    代理ip客户端出问题怎么办?

    在使用代理ip的时候,难免会出错,如果是客户端出现问题时,我们要怎么排除问题呢,怎么解决呢?

  3. 09

    2019-07

    代理IP可以无限投票吗

    市面上辅助投票的工具很多,其中HTTP代理IP更是深受用户喜爱。用户使用HTTP代理IP可以实现一台电脑完成多次投票,成功率高,安全性好,操作简单。那么面对良莠不齐的代理IP市场,投票用哪

  4. 23

    2019-07

    http代理是什么意思?

    很多人都知道的,不管大家在网上查询任何事物或者咨询网站,我们都是都需要输入http,其实这就是介于浏览器和web之一台服务器,也是在文本传输协议上的网络浏览方式,为此今日就来分析

  5. 21

    2019-05

    如何选择优质的爬虫代理IP

    或许我们在网上冲浪的时候,有时候会用到代理的,爬虫代理在目前是很火热的。之所以要用到爬虫代理,是因为我们有时候需要更换ip,但是如何选择优质的爬虫代理供应商呢?

  6. 23

    2019-03

    代理IP在游戏中有哪些重要作用?

    使命召唤手游官方3月18日发布了最新爆料,正式宣布《使命召唤》国际版将于今年暑假进行公测!