黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

代理ip:3步教你用网络爬虫爬取股票数据

发布时间:2019年03月18日 来源:互联网

人工智能时代,大数据的获取至关重要,利用网络爬虫获取数据是当前最有效的手段。爬虫本质上就是代替人工操作访问网站,自动找到目标数据,并获取目标数据的过程。今天不谈任何协议结构,只通过结合爬取股票数据的代码介绍最基本的爬虫实现,力求让略有python基础的爱好者有一个直观印象。


任务:爬取东方财富网上以6开头(比如浦发银行600000)的股票数据(最高价、换手率、成交量和成交额)。首先在东方财富网(http://quote.eastmoney.com/stocklist.html)获取全部股票代码列表,然后访问百度股市通(http://gupiao.baidu.com/stock/+股票代码)获取具体数据。


第一步,访问网站,核心函数html=requests.get(url),url是访问链接,返回值html是目标网页源码的全部数据。这里的返回值与通常的网站界面不一样,网站界面的全部显示数据都在源码中有详细记录。点击网页右键查看源代码即可看到。


代理ip:3步教你用网络爬虫爬取股票数据


部分网页源码


第二步,从第一步获取的网页源码数据找到我们需要的目标数据,网页源码按照一定的格式标签排列,通过标签访问目标数据,这个过程称为数据解析和查找。目标函数


解析函数soup = BeautifulSoup ( html , 'html.parser' )


查找函数 find() 或者find_all()或者利用正则表达式对字符串进行匹配查找。


第三步,按照一定格式进行数据存储。可直接存储到txt文件即可。程序运行后部分结果数据如下图


代理ip:3步教你用网络爬虫爬取股票数据

部分结果数据


Python3.5 实现代码如下:


from bs4 import BeautifulSoup

import traceback

import re

import time

import requests

def GetHTMLSource(url): # 得到目标网页源码

 try:

 r=requests.get(url)

 r.raise_for_status ()

 r.encoding = r.apparent_encoding

 return r.text

 except:

 print ( "异常" )

 return ""

def SetFileName():

 dirname = time.strftime ( '%Y%m%d' , time.localtime ( time.time () ) ) #获取当前日期

 dirname += 'sh'

 return dirname

def getStockList(lst , stock_list_url): # 获得东方财富网上以sh6开头的股票代码

 html = GetHTMLSource ( stock_list_url )

 soupdata = BeautifulSoup ( html , 'html.parser' )

 a = soupdata.find_all ( 'a' ) # 用find_all方法遍历所有'a'标签,并取出在'a'标签里面的’href’数据

 for i in a:

 try:

 href = i.attrs[ 'href' ]

 lst.append ( re.findall ( r"sh6d{5}" , href )[ 0 ] ) # 匹配sh6开头的股票

 except:

 continue

def getStockInfo(lst , stock_info_url , fpath):

 ndate = time.strftime ( '%Y%m%d' , time.localtime ( time.time () ) )

 for stock in lst:

 url = stock_info_url + stock + '.html' # 具体单只股票的url

 html = GetHTMLSource ( url )

 try:

 if html == "":

 continue

 infoDict = {}

 soup = BeautifulSoup ( html , 'html.parser' )

 stockInfo = soup.find ( 'div' , attrs={'class': 'stock-bets'} )

 if stockInfo == None:

 continue

 keyData = stockInfo.find_all ( 'dt' )

 valueData = stockInfo.find_all ( 'dd' )

 inp = stock + "," + ndate + ","

 for i in range ( len ( keyData ) ):

 key = keyData[ i ].text

 val = valueData[ i ].text

 infoDict[ key ] = val

 inp += infoDict[ '最高' ] + "," + infoDict[ '换手率' ] + "," + infoDict[ '成交量' ] + "," + infoDict[ '成交额' ] + "

"

 with open ( fpath , 'a' , encoding='utf-8' ) as f:

 f.write ( inp )

 except:

 traceback.print_exc ()

 continue

def main():

 stock_name_url = 'http://quote.eastmoney.com/stocklist.html'

 stock_data_url = 'http://gupiao.baidu.com/stock/'

 output_file = './' + SetFileName () + '.txt' # 输出文件的文件名,路径在默认在项目文件夹下

 slist = [ ]

 getStockList ( slist , stock_name_url ) #获取股票名称

 getStockInfo ( slist , stock_data_url , output_file ) #根据股票名称获取数据,保存到output_file文件中

main ()


黑洞http:是企业级http服务提供商,大数据采集服务服务提供商,我们拥有高品质爬虫代理,遍布全国200+城市服务器,从容应对海量IP需求,我们从不吝惜产品质量,为确保您获得最佳体验,我们选择与国内最值得信赖的运营服务商进行深度合作,提供更快,更可靠的服务。


相关文章内容简介

1 代理ip:3步教你用网络爬虫爬取股票数据

人工智能时代,大数据的获取至关重要,利用网络爬虫获取数据是当前最有效的手段。爬虫本质上就是代替人工操作访问网站,自动找到目标数据,并获取目标数据的过程。今天不谈任何协议结构,只通过结合爬取股票数据的代码介绍最基本的爬虫实现,力求让略有python基础的爱好者有一个直观印象。任务:爬取东方财富网上以6开头(比如浦发银行600000)的股票数据(最高价、换手率、成交量和成交额)。首先在东方财富网(http://quote.eastmoney.com/stocklist.html)获取全部股票代码列表,然后访问百度股市通(http://gupiao.baidu.com/stock/+股票代码)获取具体数据。第一步,访问网站,核心函数html=requests.get(url),url是访问链接,返回值html是目标网页源码的全部数据。这里的返回值与通常的网站界面不一样,网站界面的全部显示数据都在 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 05

    2019-06

    爬虫代理ip有用吗?

    IP代理作为现代网络兴起的一种上网方式,成为了很多人的日常上网习惯。特别是一些爬虫们,这种代理方式更是必须的,那么什么是爬虫代理IP呢?

  2. 26

    2019-06

    代理ip服务器的选择和效果

    随着大数据时代到来,代理IP行业发展十分迅速,或大或小的品牌商家如雨后春笋般破土而出,用户随时随地切换IP已不再是难事。然而因为代理IP行业门槛低,如今的市场可谓是鱼龙混杂,想要

  3. 03

    2019-06

    代理IP服务器软件遇到这四个HTTP状态码怎么办?

    先决条件是客户端发送 HTTP 请求时,必须要满足的一些预设条件。一个好的例子就是 If-None-Match 头,经常用在 GET 请求中。如果指定了 If-None-Match ,那么客户端只在响应中的 ETag 改变后

  4. 29

    2019-03

    为什么你的Python爬虫经常很容易被封,代理IP告诉你

    Python爬虫在互联网上进行数据抓取时,经常会遇见莫名其妙的封禁问题,爬着爬着就不行了,导致日常工作都无法正常运行,整个人都斯巴达了。很多朋友都不明白为什么会被封,为什么很容易

  5. 15

    2019-10

    IP地址被封就用代理ip

    如果在网络平台上操作过快或者注册很多个帐号的时候,IP就会受到限制,不允许登录或发布消息,这样只有找其他IP来替换才能解决。那么,IP地址被封怎么换IP呢?

  6. 05

    2019-06

    代理ip选择什么样的?

    首先,代理IP是什么原理有什么用处大家已经很清楚了,那么怎么找代理IP 呢?首先要明确你要使用的是国内的代理IP还是国外的代理IP。那么接下来就是搜索代理IP了,百度上输入代理IP,会搜索