IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何爬取酷狗音乐的榜单信息

发布时间:2019年04月24日 来源:互联网

  如何爬取酷狗音乐的榜单信息,今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内容就是我们要获取的信息了。

如何爬取酷狗音乐的榜单信息

  具体代码如下:


  import time


  import requests


  from bs4 import BeautifulSoup


  headers={'User-Agent':'自己的agent信息'}


  def top(url):


  html = requests.get(url, headers=headers)


  soup=BeautifulSoup(html.text,'lxml')


  No = soup.select('.pc_temp_num')


  titles = soup.select('.pc_temp_songname')


  href = soup.select('.pc_temp_songname')


  time = soup.select('.pc_temp_time')


  for No,titles,time,href in zip(No,titles,time,href):


  data={


  'NO':No.get_text().strip(),


  'titles':titles.get_text(),


  'time':time.get_text().strip(),


  'href':href.get('href')        }


  print(data)


  if __name__=='__main__':


  urls = {'https://www.kugou.com/yy/rank/home/1-8888.html'.format(str(i)) for i in range(1,24)}


  for url in urls:


  time.sleep(5)


  top(url)


  通过以上代码,我们就可以获取到酷狗音乐的榜单信息了。黑洞HTTP代理,数据采集服务服务提供商,为您提供更快,更可靠的服务。


相关文章内容简介

1 如何爬取酷狗音乐的榜单信息

  如何爬取酷狗音乐的榜单信息,今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内容就是我们要获取的信息了。  具体代码如下:  import time  import requests  from bs4 import BeautifulSoup  headers={'User-Agent':'自己的agent信息'}  def top(url):  html = requests.get(url, headers=headers)  soup=BeautifulSoup(html.text,'lxml')  No = soup.select('.pc_temp_num')  titles = [阅读全文]

热门标签

最新标签

推荐阅读

  1. 05

    2019-11

    使用代理ip访问网站却失败?

    在日常的网络工作中,很多网络工作者需要使用到代理IP来辅助完成任务,如比较常见的爬虫工作、营销发帖、网络投票、效果补量等,有是使用第三方工具,有的自己编写代码程序,通过对接A

  2. 25

    2019-10

    如何挑选高匿名代理IP?

    代理IP的质量是很重要的,只有好的代理IP才能解决问题,不然只会徒增烦恼。所以挑选的时候要多看几家进行对比,代理IP是最常见的换IP工具了,现在很多用户都在使用。但代理IP也分为不同

  3. 19

    2019-11

    nginx+tomcat简单反向代理ip

    正向代理:访问GG,此时肯定需要一个FQ,然后找到一个可以访问国外的一个代理,然后代理去访问GG,将数据传递给我们。这个时候代理做的位置就是正向代理,

  4. 05

    2019-05

    代理ip在电商行业中有什么作用?

    数十年之前,我们眼中的电商平台或者说我们生活中习惯的电商平台,除了淘宝之外没有别人,但是现在尤其是近几年,随着互联网的发展,基于互联网技术之上的平台越来越多,大家也正在发

  5. 17

    2019-05

    有筛选功能的代理IP软件有什么好处

    现如今,代理IP软件在互联网应用广泛,可涉猎投票、注册、论坛发帖、问答、点击等众多方面。在我们选择一款代理IP软件时,除了看重IP质量外,一些人性化小功能也不能忽视,例如筛选功能

  6. 14

    2019-06

    爬虫使用HTTP代理IP做什么?

    你对HTTP代理IP这个字眼陌生吗?实际上这个字眼离你并不遥远。HTTP代理IP是将用户的IP进行更换,帮助用户在网上做一些事情。针对网络爬虫,小编下面就为大家讲述一下HTTP代理IP的作用。