IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

代理ip协助爬虫爬取豆瓣图书榜单信息

发布时间:2019年04月03日 来源:互联网

今天黑洞HTTP为大家分享一下爬虫是如何爬取豆瓣图书榜单信息的,我们首先打开豆瓣图书top250的网页,通过源代码检查元素,检索我们所需要的字段所在的标签。主要抓取的内容是书名、别名、信息、评分、人数、描述。


代理ip协助爬虫爬取豆瓣图书榜单信息


代码如下:


#!/usr/bin/env python


# encoding: utf-8


import re


import requests


from bs4 import BeautifulSoup


def book(target_url):


    books = []


    book = requests.get(target_url) #使用requests返回网页的整体结构


    soup = BeautifulSoup(book.text, 'lxml') # 使用lxml作为解析器,返回一个Beautifulsoup对象


    table = soup.findAll('table', {"width": "100%"}) #找到其中所有width=100%的table标签),即找到所有的书


    for item in table: #遍历table,一个item代表一本书


        name = item.div.a.text.strip() #找到书名


        r_name = name.replace('\n', '').replace(' ', '') #通过看网页的HTML结构,可以发现书名后是有换行以及空格的,将这些全部通过replace替换去除


        tmp2 = item.div.span  #判断是否存在别名


        if tmp2:


            name2 = tmp2.text.strip().replace(':', '') #因为是通过div.span判断别名 有些书的别名前面有个冒号,比如《追风筝的人》


        else:


            name2 = r_name #无别名就使用原始的名称


        url = item.div.a['href'] #获取书的链接


        info = item.find('p', {"class": "pl"}).text #获取书的信息


        score = item.find('span', {"class": "rating_nums"}).text.strip() #获取分数


        nums = item.find('span', {"class": "pl"}).text.strip() # 获取评价人数


        num = re.findall('(\d+)人评价', nums)[0]  # 通过正则取具体的数字


        if item.find('span', {"class": "inq"}): # 判断是否存在描述


            desc = item.find('span', {"class": "inq"}).text.strip()


        else:


            desc = 'no description'


        books.append((r_name, name2, url, info, score, num, desc)) #以元组存入列表


    return books #返回一页的书籍



for n in range(10):


    url1 = 'https://book.douban.com/top250?start=' + str(n*25) #top250的网页,每页25本书,共10页,“start=”后面从0开始,以25递增


    tmp = book(url1)


    with open('booktop250.xls', 'a', encoding='utf-8') as d: #新建一个文件存放数据,模式取'a',表示在后面追加;编码一定要写上,因为win下新建文件,默认是gbk编码,但是前面返回的结构是unicode的,会报编码错误


        for i in tmp:


            print(i[0]+"\t"+i[1]+"\t"+i[2]+"\t"+i[3]+"\t"+i[4]+"\t"+i[5]+"\t"+i[6], file=d)


以上就是关于爬虫如何爬取豆瓣图书榜单信息的相关介绍了,黑洞HTTP可为您提供海量IP资源,助您不间断获取行业数据,赢在大数据时代!


相关文章内容简介

1 代理ip协助爬虫爬取豆瓣图书榜单信息

今天黑洞HTTP为大家分享一下爬虫是如何爬取豆瓣图书榜单信息的,我们首先打开豆瓣图书top250的网页,通过源代码检查元素,检索我们所需要的字段所在的标签。主要抓取的内容是书名、别名、信息、评分、人数、描述。代码如下:#!/usr/bin/env python# encoding: utf-8import reimport requestsfrom bs4 import BeautifulSoupdef book(target_url):    books = []    book = requests.get(target_url) #使用requests返回网页的整体结构    soup = BeautifulSoup(book.text, 'lxml') # 使用lxml作为解析器,返回一个Beautiful [阅读全文]

热门标签

最新标签

推荐阅读

  1. 18

    2019-03

    黑洞http代理:如何跳出“大数据杀熟”怪圈

    ​过去半年内里,上海12345市民服务热线的统计数据显示,投诉大数据“杀熟”的案件共4起,“变相涨价”案件达101件。在生活服务类电商日益发达的今天,大数据“杀熟”一直是网友热议的话

  2. 06

    2019-11

    爬虫用高匿名代理有效吗?

    所谓高匿名 代理IP (Eliteproxy或HighAnonymityProxy),顾名思义就是服务器根本不知道你使用了代理。在使用高匿 代理服务器 时,高匿名代理不改变客户机的请求,这样的服务器再受访者看来就像是有

  3. 08

    2019-08

    http代理服务器的作用

    可以冲破原始IP的访问限制

  4. 01

    2019-04

    网络爬虫如何用代理IP?使用代理IP常见问题

    Python爬虫层出不穷,所有网站都利用反爬虫制度,限制大批爬虫的浏览,因此Python爬虫必须利用代理IP实现破解限制,才可以顺利的爬取到数据。那么网络爬虫如何使用代理IP,在使用代理IP过程

  5. 12

    2018-09

    免费代理ip怎么用?ip代理加速器免费版

    ​代理ip是我们从事网络工作者必不可少的网络工具之一,目前市面上的代理IP软件有成千上万种,我们应该怎么选择?免费代理ip怎么用?ip代理加速器免费版——黑洞代理!下面我们 一起来了

  6. 26

    2019-11

    代理ip独享IP池和共享IP池的优劣势?

    独享IP池是一个人使用的IP池,共享IP池是很多人共同使用的IP池,它们都有什么优点和缺点呢?我们从各方面一起来分析下吧。