黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

Python简易实现IP代理池及其维护

发布时间:2019年03月21日 来源:http://http.hunbovps.com/News/getList/catid/8/id/170.html

Python简易实现IP代理池及其维护

用处

通过自己购买或爬取到的ip,在程序中使用这些ip进行代理,达到绕过反爬虫机制的效果以及其他用途。


思路

从各大免费的ip网站抓取ip,存入数据库,使用时按序取出使用。注:存入及使用前先验证ip是否可用


我们在这里使用 西刺 这里网站里的免费ip,数据库使用mongodb


使用到的库

request 


re 


json


结构

IpPool


__init__.py


panel


config.py


main.py


Code

init.py

我们在这个文件中写一个爬虫的基类,方便我们拓展不同的网站

Python简易实现IP代理池及其维护

Python简易实现IP代理池及其维护

config.py

在这里我们放一些参数,方便我们配置程序


Python简易实现IP代理池及其维护


mian.py

Python简易实现IP代理池及其维护上面就是这个ip爬取的主要框架,接下来开始接入西刺这个网站,在panel文件夹中新建文件 XICI.py

Python简易实现IP代理池及其维护Python简易实现IP代理池及其维护

再回到 main.py 使用process()函数开始爬虫


main.py

Python简易实现IP代理池及其维护

ip池的使用


我们可以在使用时先从数据库中将所有 ip 取出,安装队列的形式或者列表随机抽取的形式进行维护,当ip不可用时,从数据库中删除该ip,当出现ip被封时放回队列或者列表,这里不做过多的介绍


相关文章内容简介

1 Python简易实现IP代理池及其维护

Python简易实现IP代理池及其维护用处通过自己购买或爬取到的ip,在程序中使用这些ip进行代理,达到绕过反爬虫机制的效果以及其他用途。思路从各大免费的ip网站抓取ip,存入数据库,使用时按序取出使用。注:存入及使用前先验证ip是否可用我们在这里使用 西刺 这里网站里的免费ip,数据库使用mongodb使用到的库request re json结构IpPool__init__.pypanelconfig.pymain.pyCodeinit.py我们在这个文件中写一个爬虫的基类,方便我们拓展不同的网站config.py在这里我们放一些参数,方便我们配置程序mian.py上面就是这个ip爬取的主要框架,接下来开始接入西刺这个网站,在panel文件夹中新建文件 XICI.py再回到 main.py 使用process()函数开始爬虫main.pyip池的使用我们可以在使用时先 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 07

    2019-11

    代理IP的类型的区分原则

    代理ip在很多人的认知上就是换ip软件,虽然代理IP软件知识普通的换IP工具,但还是有很多类型,在选择代理IP的时

  2. 14

    2019-06

    使用HTTP代理IP时需要注意哪些方面?

    近年来大数据行业迅猛发展,给互联网各行各业带来了蓬勃之气,作为有效资源的HTTP代理IP,更是如雨后春笋般涌现。面对市场中众多IP供应商,越来越多的用户挑花了眼。下面就由小编带大家

  3. 26

    2019-11

    千万ip级别随意切换的代理ip

    目前市面上号称免费 IP代理服务器 的软件很多,但是真正免费的却很少,就算偶尔有几个免费的IP代理服务器,但是使用效果也非常不好,老是出现卡顿或者延时的问题,就连购买的 代理ip 也

  4. 11

    2019-10

    爬虫必备为什么必备ip代理?

    工欲善其事必先利其器的道理相信咱们都懂。而作为经常要和各大网站做拉锯战的 网络爬虫 工程师们,则更需要利用利用好身边的一切法器,以便更快的攻破对方防线。今天就以日常网络爬虫

  5. 19

    2019-11

    代理IP如何伪装IP地址?

    关于防火墙基础配置可参考博文:保证Linux系统安全之CentOS 7 firewalld防火墙入门详解

  6. 07

    2019-11

    ip代理适合什么人?

    普通人的生活工作中基本上不会用到代理ip,如果要去买 代理IP 来满足需求的情况,都是较特殊的行业和工种会有相关需求,但是就用途来说,无非就是一下这几种。