IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

零基础也能看懂的Python下载网易云音乐爬虫

发布时间:2019年04月18日 来源:http://http.hunbovps.com/News/getList/catid/8/id/335.html

  零基础也能看懂的Python下载网易云音乐爬虫,配置基础


  Python


  Selenium(配置方法参照:Selenium配置)


  Chrome浏览器(其它的也可以,需要进行相应的修改)


  解析


  以前抓取过网易云网页的朋友可能都清楚网易云有反爬虫策略的,post时要对部分信息的参数完成加密函数的模拟。为了方便,入门新手也可以了解,直接采用Selenium来模拟登录,之后用接口来下载音乐和歌词。


  实验步骤:


  通过歌手id得到当前歌手的热门歌曲信息,歌名与网址,并且存储到CSV文件里面;


  载入csv文件,通过音乐链接,获取歌曲ID,之后借助相应的接口,下载歌曲和歌词;


  将歌曲和歌词存储到本地。


  Python实现


  这里针对几个主要的函数来说明…


  抓取歌手信息


  通过Selenium就不用看对页面的请求了,能直接从页面源代码中提取对应的数据,查看歌手网页源代码能够看到在iframe框架里有我们需要的信息,因此,要先切换到iframe:


  browser.switch_to.frame('contentFrame')


  接着看下去,在id=”hotsong-list”标签中能看到需要的歌名以及链接,然后每一行对应的是一个tr标签。因此先取得全部的tr内容,然后遍历单个tr。


  data = browser.find_element_by_id("hotsong-list").find_elements_by_tag_name("tr")


  注意:前一个是find_element,后一个是find_elements,后者返回一个列表。


  然后就是解析单个tr标签的内容,得到歌名与链接,可以发现两者在class=”txt”标签中,而且链接是href属性,名字是title属性,能直接通过get_attribute()函数获取。


零基础也能看懂的Python下载网易云音乐爬虫

  链接中的数字就是歌曲的id,因此我们得到歌曲id后,能够同时从该链接下载歌词,歌词文件是json格式,因此我们还要用到json包。


  并且同时获取的歌词中,每行有一个时间轴,还要用正则表达式来去除,完整代码如下:

零基础也能看懂的Python下载网易云音乐爬虫

  链接中的数字为歌曲的id,可以直接根据歌曲的id来下载音频文件。完整代码如下:

  

零基础也能看懂的Python下载网易云音乐爬虫

相关文章内容简介

1 零基础也能看懂的Python下载网易云音乐爬虫

  零基础也能看懂的Python下载网易云音乐爬虫,配置基础  Python  Selenium(配置方法参照:Selenium配置)  Chrome浏览器(其它的也可以,需要进行相应的修改)  解析  以前抓取过网易云网页的朋友可能都清楚网易云有反爬虫策略的,post时要对部分信息的参数完成加密函数的模拟。为了方便,入门新手也可以了解,直接采用Selenium来模拟登录,之后用接口来下载音乐和歌词。  实验步骤:  通过歌手id得到当前歌手的热门歌曲信息,歌名与网址,并且存储到CSV文件里面;  载入csv文件,通过音乐链接,获取歌曲ID,之后借助相应的接口,下载歌曲和歌词;  将歌曲和歌词存储到本地。  Python实现  这里针对几个主要的函数来说明…  抓取歌手信息  通过Selenium就不用看对页面的请求了,能直接从页面源代码中提取对应的数据,查看歌手网页源代码能够看到在ifr [阅读全文]

热门标签

最新标签

推荐阅读

  1. 02

    2019-08

    代理IP用错有什么后果?

    代理IP软件是一种辅助工具,可以帮助顺利完成工作,解决IP被封、效率低的问题。因此,代理IP软件是深受欢迎的。但还是有很多人对其并不是很了解,那么,为什么要用代理IP软件呢?

  2. 17

    2019-09

    代理ip起的作用

    私密代理服务器ip现在在社会上各个行业和各个公司都非常广泛地使用,因此即使是相关行业的工作人员或者是普通用户都会对它非常熟悉。但是要说对他最熟悉的还应该是电商行业的工作人员

  3. 18

    2019-05

    免费代理ip软件哪个好

    大数据时代的来临,很多传统企业和新兴企业在运营模式上都面临着各种改革问题。可以说随着互联网数据的飞速发展,给原本的产业和收益模式都带来了更多的可能性。想要顺应时代发展,在

  4. 16

    2019-07

    代理ip如何提取api?

    首先是IP数量,这个精彩使用网络做业务的人基本都知道,自然不用多说了,IP数量够了质量也要跟上去,高质量的代理IP可以提高做业务的效率和质量。那么什么是高质量的代理IP呢我认为首先

  5. 18

    2019-03

    IP代理:如何使用Python建立你的数据分析项目

    现在有很多文章对复杂的机器学习算法和前沿的技术进行了展示,而这也促使数据科学家们慢慢变成了“社交控”( FOMO )。但数据分析的基本内容究竟是什么样的?你应当怎样安排项目结构?你需

  6. 21

    2019-11

    选择ip代理公司看几点?

    如果无法采集大数据,对爬虫工作者来说是非常大的打击,但是 代理ip 的出现解决了数据抓取时ip被限制次数的难题。哪里有需求,哪里就有市场,随着代理ip需求量的增大,应用场景也越来越