IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何爬取酷狗音乐的榜单信息

发布时间:2019年04月24日 来源:互联网

  如何爬取酷狗音乐的榜单信息,今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内容就是我们要获取的信息了。

如何爬取酷狗音乐的榜单信息

  具体代码如下:


  import time


  import requests


  from bs4 import BeautifulSoup


  headers={'User-Agent':'自己的agent信息'}


  def top(url):


  html = requests.get(url, headers=headers)


  soup=BeautifulSoup(html.text,'lxml')


  No = soup.select('.pc_temp_num')


  titles = soup.select('.pc_temp_songname')


  href = soup.select('.pc_temp_songname')


  time = soup.select('.pc_temp_time')


  for No,titles,time,href in zip(No,titles,time,href):


  data={


  'NO':No.get_text().strip(),


  'titles':titles.get_text(),


  'time':time.get_text().strip(),


  'href':href.get('href')        }


  print(data)


  if __name__=='__main__':


  urls = {'https://www.kugou.com/yy/rank/home/1-8888.html'.format(str(i)) for i in range(1,24)}


  for url in urls:


  time.sleep(5)


  top(url)


  通过以上代码,我们就可以获取到酷狗音乐的榜单信息了。黑洞HTTP代理,数据采集服务服务提供商,为您提供更快,更可靠的服务。


相关文章内容简介

1 如何爬取酷狗音乐的榜单信息

  如何爬取酷狗音乐的榜单信息,今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内容就是我们要获取的信息了。  具体代码如下:  import time  import requests  from bs4 import BeautifulSoup  headers={'User-Agent':'自己的agent信息'}  def top(url):  html = requests.get(url, headers=headers)  soup=BeautifulSoup(html.text,'lxml')  No = soup.select('.pc_temp_num')  titles = [阅读全文]

热门标签

最新标签

推荐阅读

  1. 24

    2019-06

    哪里有动态代理ip来更换ip地址?

    有时有些用户可能会碰到一些需要换ip的,尤其是访问比较频繁的时候,那么大家是在哪里找代理ip来换ip呢

  2. 26

    2019-06

    动态代理ip工具可以解决哪些问题?

    动态IP用得比较多,主要是因为IP资源比较少,而且一些项目使用动态IP效果会更好的,比如做一些网站测试、网站功能搭建的时候常常会需要用到一些动态代理IP工具,这样不仅有助于我们搭建

  3. 09

    2019-05

    代理IP技术有了新的发展

    代理IP是一种将IP进行更换的技术。之所以要更换IP,有多种原因。网络防火墙是其中的一项原因,用户在网络上活动的时候,为了保护自己电脑的安全,可以运用网络防火墙,更换IP软件可以起

  4. 13

    2019-04

    常见Python爬虫使用代理IP的方法

    大家在进行爬虫工作时候通常都会碰到类似的问题:一开始爬虫是运行正常的,采集信息,看上去一切都很完美,可是没一会的时间就可能提示异常,列入403 Forbidden;提示这个错误通常是因为目

  5. 23

    2019-04

    代理IP可以防止IP被攻击

    黑客会采取各种手段,探测对方的主机信息,以便决定使用何种最有效的方法达到自己的目的。来看看黑客是如何获知最基本的网络信息——对方的IP地址,以便用户如何防范自己的IP泄漏。

  6. 15

    2019-09

    私密代理ip的高效性

    如今互联网走进了每家每户,电脑和手机更是不用说。很多人都会在日常生活中收到陌生用户发来的网址或者是一些陌生信息。这些陌生信息中一边都存在着一些风险,有些防范心不高的用户不