IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

如何爬取酷狗音乐的榜单信息

发布时间:2019年04月24日 来源:互联网

  如何爬取酷狗音乐的榜单信息,今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内容就是我们要获取的信息了。

如何爬取酷狗音乐的榜单信息

  具体代码如下:


  import time


  import requests


  from bs4 import BeautifulSoup


  headers={'User-Agent':'自己的agent信息'}


  def top(url):


  html = requests.get(url, headers=headers)


  soup=BeautifulSoup(html.text,'lxml')


  No = soup.select('.pc_temp_num')


  titles = soup.select('.pc_temp_songname')


  href = soup.select('.pc_temp_songname')


  time = soup.select('.pc_temp_time')


  for No,titles,time,href in zip(No,titles,time,href):


  data={


  'NO':No.get_text().strip(),


  'titles':titles.get_text(),


  'time':time.get_text().strip(),


  'href':href.get('href')        }


  print(data)


  if __name__=='__main__':


  urls = {'https://www.kugou.com/yy/rank/home/1-8888.html'.format(str(i)) for i in range(1,24)}


  for url in urls:


  time.sleep(5)


  top(url)


  通过以上代码,我们就可以获取到酷狗音乐的榜单信息了。黑洞HTTP代理,数据采集服务服务提供商,为您提供更快,更可靠的服务。


相关文章内容简介

1 如何爬取酷狗音乐的榜单信息

  如何爬取酷狗音乐的榜单信息,今天我们就来看下,爬虫是如何爬取酷狗音乐的榜单信息的。首先我们先打开目标网页,即酷狗音乐的TOP500榜单页面,查看源代码分析页面,我们会发现,在ul标签下有li这个标签,这里面的内容就是我们要获取的信息了。  具体代码如下:  import time  import requests  from bs4 import BeautifulSoup  headers={'User-Agent':'自己的agent信息'}  def top(url):  html = requests.get(url, headers=headers)  soup=BeautifulSoup(html.text,'lxml')  No = soup.select('.pc_temp_num')  titles = [阅读全文]

热门标签

最新标签

推荐阅读

  1. 14

    2019-11

    代理IP中的独享IP和共享有什么不同?

    换IP软件一款专业的切换IP软件,高匿,高质量,每日千万高速代理IP,支持PC、安卓、IOS全平台一键切换,适用于各类网赚、SEO、数据采集、营销推广等行业。IP转换器可以以分钟为单位切换IP地

  2. 18

    2019-06

    合适的代理IP解决访问网站等一系列问题

    在我们学习各种编程语言的时候,出现各种异常是很常见的,拿最简单最基础的爬虫采集数据为例,过程中就会面临,IP被封,爬取受限、违法操作等多种问题,所以在爬取数据之前,一定要

  3. 14

    2019-03

    国内代理ip软件有哪些?哪个代理IP效果好呢?

    代理IP软件,对很多人来说是熟悉又陌生,为什么要用到代理IP软件呢?因为如果一直用同一个iP爬取同一个网页,ip会被禁止访问网页,当我们的ip被限制了,就需要用到IP代理软件换IP,那么国

  4. 09

    2019-05

    代理ip工具的使用注意事项

    对于营销界领域的朋友来讲,经常使用代理ip工具应该是家常便饭的事情,但对于一些营销新人来说,可能还是头一次听说代理ip工具这种东西,那么下面就由代理蚂蚁浏览器的专业开发人员为

  5. 10

    2019-04

    HTTP代理IP的含义,HTTP代理IP如何使用?

    关于HTTP代理IP的意思,大多数人还都不太明白。往往处于一个只可意会不可言传的懵懂状态。那么HTTP代理IP是什么意思呢?又该如何使用呢?今天黑洞HTTP就为大家详细介绍一下!

  6. 03

    2019-06

    代理IP服务器软件遇到这四个HTTP状态码怎么办?

    先决条件是客户端发送 HTTP 请求时,必须要满足的一些预设条件。一个好的例子就是 If-None-Match 头,经常用在 GET 请求中。如果指定了 If-None-Match ,那么客户端只在响应中的 ETag 改变后