IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

网络爬虫之用python获取免费代理IP

发布时间:2019年03月25日 来源:互联网

对我们一般用户而言, 爬虫是个很好的工具, 利用它可以方便的快速的获取想要的信息。 但对于网站而言, 网络爬虫占用了太多的资源, 也没可能从这些爬虫获取点击量增加广告收入, 所以很多网站痛恨爬虫, 对爬虫采取了一系列的反爬虫措施, 其中最主要的一条措施就是会封禁频繁快速访问大量网页的ip。 而通过代理ip网络爬虫可绕过这一限制。 要使用代理ip, 我们首先要获取大量代理ip并构建一个代理ip池。 一下示例用python的scrapy框架实现了通过爬虫自动获取免费代理ip的功能。


首先创建scrapy项目, 运行一下命令:


$ scrapy startproject getProxy kuaidaili.com


$ scrapy genspider proxyKdlSpider kuaidaili.com


百度搜索免费代理ip, 我进的是快代理, 页面通过列表显示代理ip及其相关信息的。


网络爬虫之用python获取免费代理IP


3. 通过以上的界面, 改写items.py, 增加如下项, 用来保存代理ip的相关信息


网络爬虫之用python获取免费代理IP


4. 通过观察页面源码, 发现我们需要的代理ip信息可用xpath轻易获取。


网络爬虫之用python获取免费代理IP


5. 通过上图观察到的规律改写proxyKdlSpider.py文件, 通过如下xpath可获取代理ip信息。


网络爬虫之用python获取免费代理IP


6. 改写pipelines.py, 将解析提取出来的代理ip信息保存到文件proxy.txt中。


网络爬虫之用python获取免费代理IP


7. 改写settings.py, 增加以下行:


网络爬虫之用python获取免费代理IP


其中USER_AGENT会改写请求headers。 因快代理网站会通过USER_AGENT来判断访问者是否爬虫, 不这样设置会导致运行爬虫的ip被封禁。


设置DOWNLOAD_DELAY=5含义是爬虫每5s请求一个网页, 这样设置的目的是为了避免快速访问大量网页触发网站的反爬虫机制


设置ITEM_PIPELINES是告诉爬虫在过滤完需要的信息后如何保存。


8 运行编写的爬虫:


$ scrapy crawl proxyKdlSpider


由于我们限制了采集速度, 过程会有点长。 运行完毕后采集结果如下:

网络爬虫之用python获取免费代理IP


相关文章内容简介

1 网络爬虫之用python获取免费代理IP

对我们一般用户而言, 爬虫是个很好的工具, 利用它可以方便的快速的获取想要的信息。 但对于网站而言, 网络爬虫占用了太多的资源, 也没可能从这些爬虫获取点击量增加广告收入, 所以很多网站痛恨爬虫, 对爬虫采取了一系列的反爬虫措施, 其中最主要的一条措施就是会封禁频繁快速访问大量网页的ip。 而通过代理ip网络爬虫可绕过这一限制。 要使用代理ip, 我们首先要获取大量代理ip并构建一个代理ip池。 一下示例用python的scrapy框架实现了通过爬虫自动获取免费代理ip的功能。首先创建scrapy项目, 运行一下命令:$ scrapy startproject getProxy kuaidaili.com$ scrapy genspider proxyKdlSpider kuaidaili.com百度搜索免费代理ip, 我进的是快代理, 页面通过列表显示代理ip及其相关信息的。3. 通过以 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 24

    2019-05

    设置代理ip后却不能上网了?

    为什么使用设置代理IP后不能上网了,虽然联网了,还能上QQ,但就是不能访问网站,的确令人着急!

  2. 04

    2019-04

    如何找到匿名上网当前全国互联网代理IP

    匿名浏览的长度匿名用几乎所有人的身份浏览网络。这是通过所谓的浏览器实现的。当用户使用它们浏览互联网时,这些网站隐藏了ip和计算机位置等详细信息。一旦消费者试图进入某种东西,

  3. 19

    2019-03

    大数据产业下的代理ip应该如何使用?

    记得之前在网上看到过一个形容大数据很有趣的比喻,你到楼下的粥铺吃早餐,老板对你一笑,很默契的给你端来一碗米粥一个馒头,他知道你每天都吃这个。你在粥铺里一边喝粥一边和旁边的

  4. 22

    2019-05

    爬虫代理ip资源是新媒体的宠儿?

    如今很多创业人员都开始投身于新媒体的发展,但是在新媒体发展的过程中爬虫代理ip平台功不可没。因为其实很多新媒体发展的初期都会通过在一些贴吧发帖,或者一些加密软件来进行吸粉。

  5. 31

    2019-03

    你所不知道的代理IP知识

    互联网时代,玩游戏想开小号,读新闻刷金币想多开几个手机,凡是当你不满足于一个账号所带来的满足感的时候,你就会逐步接触到 代理ip。

  6. 30

    2019-05

    https代理IP和HTTP代理有啥区别?

    https代理IP和HTTP代理有啥区别?现在越来越多的网站都采用了https协议,据说这样比较安全,导致曾经火爆的HTTP代理IP也有点力不从心了,很多用户都要求https代理IP了,这样才能更安全的上网了