IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

零基础也能看懂的Python下载网易云音乐爬虫

发布时间:2019年04月18日 来源:http://http.hunbovps.com/News/getList/catid/8/id/335.html

  零基础也能看懂的Python下载网易云音乐爬虫,配置基础


  Python


  Selenium(配置方法参照:Selenium配置)


  Chrome浏览器(其它的也可以,需要进行相应的修改)


  解析


  以前抓取过网易云网页的朋友可能都清楚网易云有反爬虫策略的,post时要对部分信息的参数完成加密函数的模拟。为了方便,入门新手也可以了解,直接采用Selenium来模拟登录,之后用接口来下载音乐和歌词。


  实验步骤:


  通过歌手id得到当前歌手的热门歌曲信息,歌名与网址,并且存储到CSV文件里面;


  载入csv文件,通过音乐链接,获取歌曲ID,之后借助相应的接口,下载歌曲和歌词;


  将歌曲和歌词存储到本地。


  Python实现


  这里针对几个主要的函数来说明…


  抓取歌手信息


  通过Selenium就不用看对页面的请求了,能直接从页面源代码中提取对应的数据,查看歌手网页源代码能够看到在iframe框架里有我们需要的信息,因此,要先切换到iframe:


  browser.switch_to.frame('contentFrame')


  接着看下去,在id=”hotsong-list”标签中能看到需要的歌名以及链接,然后每一行对应的是一个tr标签。因此先取得全部的tr内容,然后遍历单个tr。


  data = browser.find_element_by_id("hotsong-list").find_elements_by_tag_name("tr")


  注意:前一个是find_element,后一个是find_elements,后者返回一个列表。


  然后就是解析单个tr标签的内容,得到歌名与链接,可以发现两者在class=”txt”标签中,而且链接是href属性,名字是title属性,能直接通过get_attribute()函数获取。


零基础也能看懂的Python下载网易云音乐爬虫

  链接中的数字就是歌曲的id,因此我们得到歌曲id后,能够同时从该链接下载歌词,歌词文件是json格式,因此我们还要用到json包。


  并且同时获取的歌词中,每行有一个时间轴,还要用正则表达式来去除,完整代码如下:

零基础也能看懂的Python下载网易云音乐爬虫

  链接中的数字为歌曲的id,可以直接根据歌曲的id来下载音频文件。完整代码如下:

  

零基础也能看懂的Python下载网易云音乐爬虫

相关文章内容简介

1 零基础也能看懂的Python下载网易云音乐爬虫

  零基础也能看懂的Python下载网易云音乐爬虫,配置基础  Python  Selenium(配置方法参照:Selenium配置)  Chrome浏览器(其它的也可以,需要进行相应的修改)  解析  以前抓取过网易云网页的朋友可能都清楚网易云有反爬虫策略的,post时要对部分信息的参数完成加密函数的模拟。为了方便,入门新手也可以了解,直接采用Selenium来模拟登录,之后用接口来下载音乐和歌词。  实验步骤:  通过歌手id得到当前歌手的热门歌曲信息,歌名与网址,并且存储到CSV文件里面;  载入csv文件,通过音乐链接,获取歌曲ID,之后借助相应的接口,下载歌曲和歌词;  将歌曲和歌词存储到本地。  Python实现  这里针对几个主要的函数来说明…  抓取歌手信息  通过Selenium就不用看对页面的请求了,能直接从页面源代码中提取对应的数据,查看歌手网页源代码能够看到在ifr [阅读全文]

热门标签

最新标签

推荐阅读

  1. 31

    2019-05

    如何使用IP代理服务器软件来批量注册账号?

    在我们做一些网络项目时,经常要用到大量的账号,比如微信投票,需要大量的微信账号;比如论坛发帖,由于论坛限制每天每账号只能发限定数量的帖子,就需要用到大量的账号;比如人气补

  2. 13

    2019-06

    企业爬虫为什么不能用免费代理ip?

    在大数据的前提下,现在会用代理IP的人增多,本着有便宜不占王八蛋的心里,还是有很多用户不愿意使用付费的爬虫代理ip.而是选择网上公开的免费代理ip,尽管是完全免费,但是老话说得好

  3. 05

    2019-06

    河南移动代理ip哪里有?

     在网络时代的今天,网络已经深入到人们工作生活的方方面面,就代理IP这个词来说从陌生到大家都熟悉并使用,也就不过很短的时间。代理IP的原理基本从字面就可以理解了,今天在这里要

  4. 12

    2018-09

    HTTP代理的方式及原理是怎么样的?

    Web代理是一种存在于网络中间的实体,提供各式各样的功能。现代网络系统中,Web代理无处不在。今天我们就来聊一聊代理对 HTTP 请求及响应的影响。

  5. 03

    2019-04

    关于HTTP代理IP的认知误区

    什么是HTTP代理IP?通俗的来说,就是换IP的。

  6. 19

    2019-03

    爬虫的第一步就是搭建IP代理池

    代理实际上就是代理服务器, 代理服务器的工作机制很象我们生活中常常提及的代理商,假设你的机器为A机,你想获得的数据由B机提供,代理服务器为C机,那么具体的连接过程是这样的。 首