Python
Selenium(配置方法参照:Selenium配置)
Chrome浏览器(其它的也可以,需要进行相应的修改)
解析
以前抓取过网易云网页的朋友可能都清楚网易云有反爬虫策略的,post时要对部分信息的参数完成加密函数的模拟。为了方便,入门新手也可以了解,直接采用Selenium来模拟登录,之后用接口来下载音乐和歌词。
实验步骤:
通过歌手id得到当前歌手的热门歌曲信息,歌名与网址,并且存储到CSV文件里面;
载入csv文件,通过音乐链接,获取歌曲ID,之后借助相应的接口,下载歌曲和歌词;
将歌曲和歌词存储到本地。
Python实现
这里针对几个主要的函数来说明…
抓取歌手信息
通过Selenium就不用看对页面的请求了,能直接从页面源代码中提取对应的数据,查看歌手网页源代码能够看到在iframe框架里有我们需要的信息,因此,要先切换到iframe:
browser.switch_to.frame('contentFrame')
接着看下去,在id=”hotsong-list”标签中能看到需要的歌名以及链接,然后每一行对应的是一个tr标签。因此先取得全部的tr内容,然后遍历单个tr。
data = browser.find_element_by_id("hotsong-list").find_elements_by_tag_name("tr")
注意:前一个是find_element,后一个是find_elements,后者返回一个列表。
然后就是解析单个tr标签的内容,得到歌名与链接,可以发现两者在class=”txt”标签中,而且链接是href属性,名字是title属性,能直接通过get_attribute()函数获取。
链接中的数字就是歌曲的id,因此我们得到歌曲id后,能够同时从该链接下载歌词,歌词文件是json格式,因此我们还要用到json包。
并且同时获取的歌词中,每行有一个时间轴,还要用正则表达式来去除,完整代码如下:
链接中的数字为歌曲的id,可以直接根据歌曲的id来下载音频文件。完整代码如下:
相关资讯
相关文章内容简介
1 零基础也能看懂的Python下载网易云音乐爬虫
零基础也能看懂的Python下载网易云音乐爬虫,配置基础 Python Selenium(配置方法参照:Selenium配置) Chrome浏览器(其它的也可以,需要进行相应的修改) 解析 以前抓取过网易云网页的朋友可能都清楚网易云有反爬虫策略的,post时要对部分信息的参数完成加密函数的模拟。为了方便,入门新手也可以了解,直接采用Selenium来模拟登录,之后用接口来下载音乐和歌词。 实验步骤: 通过歌手id得到当前歌手的热门歌曲信息,歌名与网址,并且存储到CSV文件里面; 载入csv文件,通过音乐链接,获取歌曲ID,之后借助相应的接口,下载歌曲和歌词; 将歌曲和歌词存储到本地。 Python实现 这里针对几个主要的函数来说明… 抓取歌手信息 通过Selenium就不用看对页面的请求了,能直接从页面源代码中提取对应的数据,查看歌手网页源代码能够看到在ifr [阅读全文]
推荐阅读
02
2019-08
代理IP用错有什么后果?
代理IP软件是一种辅助工具,可以帮助顺利完成工作,解决IP被封、效率低的问题。因此,代理IP软件是深受欢迎的。但还是有很多人对其并不是很了解,那么,为什么要用代理IP软件呢?
17
2019-09
代理ip起的作用
私密代理服务器ip现在在社会上各个行业和各个公司都非常广泛地使用,因此即使是相关行业的工作人员或者是普通用户都会对它非常熟悉。但是要说对他最熟悉的还应该是电商行业的工作人员
18
2019-05
免费代理ip软件哪个好
大数据时代的来临,很多传统企业和新兴企业在运营模式上都面临着各种改革问题。可以说随着互联网数据的飞速发展,给原本的产业和收益模式都带来了更多的可能性。想要顺应时代发展,在
16
2019-07
代理ip如何提取api?
首先是IP数量,这个精彩使用网络做业务的人基本都知道,自然不用多说了,IP数量够了质量也要跟上去,高质量的代理IP可以提高做业务的效率和质量。那么什么是高质量的代理IP呢我认为首先
18
2019-03
IP代理:如何使用Python建立你的数据分析项目
现在有很多文章对复杂的机器学习算法和前沿的技术进行了展示,而这也促使数据科学家们慢慢变成了“社交控”( FOMO )。但数据分析的基本内容究竟是什么样的?你应当怎样安排项目结构?你需
21
2019-11
选择ip代理公司看几点?
如果无法采集大数据,对爬虫工作者来说是非常大的打击,但是 代理ip 的出现解决了数据抓取时ip被限制次数的难题。哪里有需求,哪里就有市场,随着代理ip需求量的增大,应用场景也越来越
热门文章
注意: 严禁一切违规违法的业务,一经发现直接封帐号
Powered by wanchen tech. © | 粤ICP备18047396号-6 广州万宸软件科技有限公司http代理 版权所有