IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何爬取酷狗音乐的榜单信息

发布时间:2019年04月24日 来源:互联网

  如何爬取酷狗音乐的榜单信息,今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内容就是我们要获取的信息了。

如何爬取酷狗音乐的榜单信息

  具体代码如下:


  import time


  import requests


  from bs4 import BeautifulSoup


  headers={'User-Agent':'自己的agent信息'}


  def top(url):


  html = requests.get(url, headers=headers)


  soup=BeautifulSoup(html.text,'lxml')


  No = soup.select('.pc_temp_num')


  titles = soup.select('.pc_temp_songname')


  href = soup.select('.pc_temp_songname')


  time = soup.select('.pc_temp_time')


  for No,titles,time,href in zip(No,titles,time,href):


  data={


  'NO':No.get_text().strip(),


  'titles':titles.get_text(),


  'time':time.get_text().strip(),


  'href':href.get('href')        }


  print(data)


  if __name__=='__main__':


  urls = {'https://www.kugou.com/yy/rank/home/1-8888.html'.format(str(i)) for i in range(1,24)}


  for url in urls:


  time.sleep(5)


  top(url)


  通过以上代码,我们就可以获取到酷狗音乐的榜单信息了。黑洞HTTP代理,数据采集服务服务提供商,为您提供更快,更可靠的服务。


相关文章内容简介

1 如何爬取酷狗音乐的榜单信息

  如何爬取酷狗音乐的榜单信息,今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内容就是我们要获取的信息了。  具体代码如下:  import time  import requests  from bs4 import BeautifulSoup  headers={'User-Agent':'自己的agent信息'}  def top(url):  html = requests.get(url, headers=headers)  soup=BeautifulSoup(html.text,'lxml')  No = soup.select('.pc_temp_num')  titles = [阅读全文]

热门标签

最新标签

推荐阅读

  1. 30

    2019-05

    使用代理IP上网更安全

    我们知道,当我们上网时,我们的真实IP可能会被泄露,当被别有用心的人获取到时则可能会对我们造成一些伤害。而如果使用了代理IP上网后,则完美的隐藏了我们的本机真实IP,多加了一份安

  2. 31

    2019-05

    做爬虫选择哪家IP代理服务器软件?

    众所周知,没有IP代理服务器,爬虫工作就无从谈起,好的IP代理服务器资源可以让爬虫工作事半功倍,正所谓“工欲善其事必先利其器”,所以选择一个好的IP代理服务器资源至关重要。

  3. 15

    2019-11

    为什么最好别用免费的代理ip?

    随着互联网发展的日新月异,人们对 代理IP 的需求量也不断增大。但是在哪里能找到国内最新的 HTTP代理 资源呢?能够找到的代理IP是否能够满足我们日常的需要呢?速度是否跟的上?稳定性怎

  4. 08

    2019-09

    便宜的IP代理好用吗?

    爬虫是网络数据的重要组成部分,但并不是所有的目标站点都愿意共享信息,此时它们将采取反爬虫措施来抵抗它们,其中最常见的是禁止IP。IP转换器可以以分钟为单位切换IP地址,注册用户保

  5. 16

    2019-04

    真正的一手私密代理IP,来源于这里

    代理IP的诞生解决了很多网络工作者的很多难题,奈何僧多粥少,一些代理IP被反复的使用,可能被成百上千,成千上万个用户同时用来访问同一个网站,到自己手上时,发现已经不能再使用了

  6. 03

    2019-09

    代理IP可以快捷换IP地址吗?

    现在网络发展是很快的,所以很多商家通过网络来辅助自己的事业,但网络也是有限制的,因此需要一些工具来帮忙,例如换IP。