IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何爬取酷狗音乐的榜单信息

发布时间:2019年04月24日 来源:互联网

  如何爬取酷狗音乐的榜单信息,今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内容就是我们要获取的信息了。

如何爬取酷狗音乐的榜单信息

  具体代码如下:


  import time


  import requests


  from bs4 import BeautifulSoup


  headers={'User-Agent':'自己的agent信息'}


  def top(url):


  html = requests.get(url, headers=headers)


  soup=BeautifulSoup(html.text,'lxml')


  No = soup.select('.pc_temp_num')


  titles = soup.select('.pc_temp_songname')


  href = soup.select('.pc_temp_songname')


  time = soup.select('.pc_temp_time')


  for No,titles,time,href in zip(No,titles,time,href):


  data={


  'NO':No.get_text().strip(),


  'titles':titles.get_text(),


  'time':time.get_text().strip(),


  'href':href.get('href')        }


  print(data)


  if __name__=='__main__':


  urls = {'https://www.kugou.com/yy/rank/home/1-8888.html'.format(str(i)) for i in range(1,24)}


  for url in urls:


  time.sleep(5)


  top(url)


  通过以上代码,我们就可以获取到酷狗音乐的榜单信息了。黑洞HTTP代理,数据采集服务服务提供商,为您提供更快,更可靠的服务。


相关文章内容简介

1 如何爬取酷狗音乐的榜单信息

  如何爬取酷狗音乐的榜单信息,今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内容就是我们要获取的信息了。  具体代码如下:  import time  import requests  from bs4 import BeautifulSoup  headers={'User-Agent':'自己的agent信息'}  def top(url):  html = requests.get(url, headers=headers)  soup=BeautifulSoup(html.text,'lxml')  No = soup.select('.pc_temp_num')  titles = [阅读全文]

热门标签

最新标签