IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

Python简易实现IP代理池及其维护

发布时间:2019年03月21日 来源:http://http.hunbovps.com/News/getList/catid/8/id/170.html

Python简易实现IP代理池及其维护

用处

通过自己购买或爬取到的ip,在程序中使用这些ip进行代理,达到绕过反爬虫机制的效果以及其他用途。


思路

从各大免费的ip网站抓取ip,存入数据库,使用时按序取出使用。注:存入及使用前先验证ip是否可用


我们在这里使用 西刺 这里网站里的免费ip,数据库使用mongodb


使用到的库

request 


re 


json


结构

IpPool


__init__.py


panel


config.py


main.py


Code

init.py

我们在这个文件中写一个爬虫的基类,方便我们拓展不同的网站

Python简易实现IP代理池及其维护

Python简易实现IP代理池及其维护

config.py

在这里我们放一些参数,方便我们配置程序


Python简易实现IP代理池及其维护


mian.py

Python简易实现IP代理池及其维护上面就是这个ip爬取的主要框架,接下来开始接入西刺这个网站,在panel文件夹中新建文件 XICI.py

Python简易实现IP代理池及其维护Python简易实现IP代理池及其维护

再回到 main.py 使用process()函数开始爬虫


main.py

Python简易实现IP代理池及其维护

ip池的使用


我们可以在使用时先从数据库中将所有 ip 取出,安装队列的形式或者列表随机抽取的形式进行维护,当ip不可用时,从数据库中删除该ip,当出现ip被封时放回队列或者列表,这里不做过多的介绍


相关文章内容简介

1 Python简易实现IP代理池及其维护

Python简易实现IP代理池及其维护用处通过自己购买或爬取到的ip,在程序中使用这些ip进行代理,达到绕过反爬虫机制的效果以及其他用途。思路从各大免费的ip网站抓取ip,存入数据库,使用时按序取出使用。注:存入及使用前先验证ip是否可用我们在这里使用 西刺 这里网站里的免费ip,数据库使用mongodb使用到的库request re json结构IpPool__init__.pypanelconfig.pymain.pyCodeinit.py我们在这个文件中写一个爬虫的基类,方便我们拓展不同的网站config.py在这里我们放一些参数,方便我们配置程序mian.py上面就是这个ip爬取的主要框架,接下来开始接入西刺这个网站,在panel文件夹中新建文件 XICI.py再回到 main.py 使用process()函数开始爬虫main.pyip池的使用我们可以在使用时先 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 02

    2019-08

    代理IP用错有什么后果?

    代理IP软件是一种辅助工具,可以帮助顺利完成工作,解决IP被封、效率低的问题。因此,代理IP软件是深受欢迎的。但还是有很多人对其并不是很了解,那么,为什么要用代理IP软件呢?

  2. 23

    2019-07

    HTTP代理IP怎么使用?

    在很多时候,由于互联网的各种限制,导致我们在访问网站时经常受限,它的表现可能是无法打开网页、注册不成功、无法登陆账号等。在这种情况下我们可以通过使用http代理ip来解决,下面我

  3. 04

    2019-07

    怎样有效利用爬虫代理IP采集组织庞大数据?

    近几年互联网迅猛发展,用户量节节高升。现在的互联网可以看做一个巨大的数据库资源,深入人们的衣食住行。如何快速采集资源并有组织呈现出来将会是一个很大的难题,同时也是个巨大发

  4. 09

    2019-08

    HTTP代理IP与网络爬虫有关联吗?

    使用HTTP代理IP可以帮助我们完成很多工作,例如补量、网络营销、投票等等,最重要的还有网络爬虫。那么,HTTP代理IP与网络爬虫的关联是什么呢?

  5. 07

    2019-11

    代理IP的类型的区分原则

    代理ip在很多人的认知上就是换ip软件,虽然代理IP软件知识普通的换IP工具,但还是有很多类型,在选择代理IP的时

  6. 13

    2019-04

    用代理IP上网可以保护您敏感信息

    如果你真的想确定你没有被关注,那么随后信号可能只是你个人最合适的选择。每过个季节网络就会变成个私人场所。从众多来源中获取计算机数据有多种不同的努力,因此很客易确定为什么对