黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

网络爬虫之用python获取免费代理IP

发布时间:2019年03月25日 来源:互联网

对我们一般用户而言, 爬虫是个很好的工具, 利用它可以方便的快速的获取想要的信息。 但对于网站而言, 网络爬虫占用了太多的资源, 也没可能从这些爬虫获取点击量增加广告收入, 所以很多网站痛恨爬虫, 对爬虫采取了一系列的反爬虫措施, 其中最主要的一条措施就是会封禁频繁快速访问大量网页的ip。 而通过代理ip网络爬虫可绕过这一限制。 要使用代理ip, 我们首先要获取大量代理ip并构建一个代理ip池。 一下示例用python的scrapy框架实现了通过爬虫自动获取免费代理ip的功能。


首先创建scrapy项目, 运行一下命令:


$ scrapy startproject getProxy kuaidaili.com


$ scrapy genspider proxyKdlSpider kuaidaili.com


百度搜索免费代理ip, 我进的是快代理, 页面通过列表显示代理ip及其相关信息的。


网络爬虫之用python获取免费代理IP


3. 通过以上的界面, 改写items.py, 增加如下项, 用来保存代理ip的相关信息


网络爬虫之用python获取免费代理IP


4. 通过观察页面源码, 发现我们需要的代理ip信息可用xpath轻易获取。


网络爬虫之用python获取免费代理IP


5. 通过上图观察到的规律改写proxyKdlSpider.py文件, 通过如下xpath可获取代理ip信息。


网络爬虫之用python获取免费代理IP


6. 改写pipelines.py, 将解析提取出来的代理ip信息保存到文件proxy.txt中。


网络爬虫之用python获取免费代理IP


7. 改写settings.py, 增加以下行:


网络爬虫之用python获取免费代理IP


其中USER_AGENT会改写请求headers。 因快代理网站会通过USER_AGENT来判断访问者是否爬虫, 不这样设置会导致运行爬虫的ip被封禁。


设置DOWNLOAD_DELAY=5含义是爬虫每5s请求一个网页, 这样设置的目的是为了避免快速访问大量网页触发网站的反爬虫机制


设置ITEM_PIPELINES是告诉爬虫在过滤完需要的信息后如何保存。


8 运行编写的爬虫:


$ scrapy crawl proxyKdlSpider


由于我们限制了采集速度, 过程会有点长。 运行完毕后采集结果如下:

网络爬虫之用python获取免费代理IP


相关文章内容简介

1 网络爬虫之用python获取免费代理IP

对我们一般用户而言, 爬虫是个很好的工具, 利用它可以方便的快速的获取想要的信息。 但对于网站而言, 网络爬虫占用了太多的资源, 也没可能从这些爬虫获取点击量增加广告收入, 所以很多网站痛恨爬虫, 对爬虫采取了一系列的反爬虫措施, 其中最主要的一条措施就是会封禁频繁快速访问大量网页的ip。 而通过代理ip网络爬虫可绕过这一限制。 要使用代理ip, 我们首先要获取大量代理ip并构建一个代理ip池。 一下示例用python的scrapy框架实现了通过爬虫自动获取免费代理ip的功能。首先创建scrapy项目, 运行一下命令:$ scrapy startproject getProxy kuaidaili.com$ scrapy genspider proxyKdlSpider kuaidaili.com百度搜索免费代理ip, 我进的是快代理, 页面通过列表显示代理ip及其相关信息的。3. 通过以 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 21

    2019-11

    代理ip如何正确调用API链接?

    如何正确使用代理ip,以及代理ip如何正确调用API链接?很多用户在使用代理ip,需要两台电脑同时使用一个线程,而且两台电脑不是同一个上网ip,这种情况只有两种方式;1)就是使用账号+密

  2. 18

    2019-05

    如何购买安全放心的IP代理软件

    很多需要购买IP代理软件的朋友,一般情况下都是通过网页来查找,对于一些免费的IP软件下载以后才发现不能用,或者是下载的过程中总是报错,这个时候就要小心了,很多免费的IP代理软

  3. 05

    2019-05

    代理ip在电商行业中有什么作用?

    数十年之前,我们眼中的电商平台或者说我们生活中习惯的电商平台,除了淘宝之外没有别人,但是现在尤其是近几年,随着互联网的发展,基于互联网技术之上的平台越来越多,大家也正在发

  4. 01

    2019-04

    换IP软件哪家好?IP代理的作用是什么?

    换IP软件哪家好?大家应该都怕碰上类似的情况:网店虚假单子过多导致被封的可能、网站发布过多信息而造成的IP被封的危险、上网速度跟不上而抢不到自己打算购买的商品、这些难题黑洞HTTP可

  5. 25

    2019-10

    企业爬虫对代理ip的要求有多高?

    大数据时代,拥有大数据就是赢家,其中爬虫是现在抓取数据的主要方式,很多企业都根据爬虫抓取的数据进行分析,并制定合适自己的推广方案。由于爬虫程序对目标网站并没有任何好处,所

  6. 18

    2019-05

    哪个代理ip质量高?

    我们在使用代理ip的时候,最关注的一般都是代理ip的稳定时间和上网的速度。