黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

代理ip:3步教你用网络爬虫爬取股票数据

发布时间:2019年03月18日 来源:互联网

人工智能时代,大数据的获取至关重要,利用网络爬虫获取数据是当前最有效的手段。爬虫本质上就是代替人工操作访问网站,自动找到目标数据,并获取目标数据的过程。今天不谈任何协议结构,只通过结合爬取股票数据的代码介绍最基本的爬虫实现,力求让略有python基础的爱好者有一个直观印象。


任务:爬取东方财富网上以6开头(比如浦发银行600000)的股票数据(最高价、换手率、成交量和成交额)。首先在东方财富网(http://quote.eastmoney.com/stocklist.html)获取全部股票代码列表,然后访问百度股市通(http://gupiao.baidu.com/stock/+股票代码)获取具体数据。


第一步,访问网站,核心函数html=requests.get(url),url是访问链接,返回值html是目标网页源码的全部数据。这里的返回值与通常的网站界面不一样,网站界面的全部显示数据都在源码中有详细记录。点击网页右键查看源代码即可看到。


代理ip:3步教你用网络爬虫爬取股票数据


部分网页源码


第二步,从第一步获取的网页源码数据找到我们需要的目标数据,网页源码按照一定的格式标签排列,通过标签访问目标数据,这个过程称为数据解析和查找。目标函数


解析函数soup = BeautifulSoup ( html , 'html.parser' )


查找函数 find() 或者find_all()或者利用正则表达式对字符串进行匹配查找。


第三步,按照一定格式进行数据存储。可直接存储到txt文件即可。程序运行后部分结果数据如下图


代理ip:3步教你用网络爬虫爬取股票数据

部分结果数据


Python3.5 实现代码如下:


from bs4 import BeautifulSoup

import traceback

import re

import time

import requests

def GetHTMLSource(url): # 得到目标网页源码

 try:

 r=requests.get(url)

 r.raise_for_status ()

 r.encoding = r.apparent_encoding

 return r.text

 except:

 print ( "异常" )

 return ""

def SetFileName():

 dirname = time.strftime ( '%Y%m%d' , time.localtime ( time.time () ) ) #获取当前日期

 dirname += 'sh'

 return dirname

def getStockList(lst , stock_list_url): # 获得东方财富网上以sh6开头的股票代码

 html = GetHTMLSource ( stock_list_url )

 soupdata = BeautifulSoup ( html , 'html.parser' )

 a = soupdata.find_all ( 'a' ) # 用find_all方法遍历所有'a'标签,并取出在'a'标签里面的’href’数据

 for i in a:

 try:

 href = i.attrs[ 'href' ]

 lst.append ( re.findall ( r"sh6d{5}" , href )[ 0 ] ) # 匹配sh6开头的股票

 except:

 continue

def getStockInfo(lst , stock_info_url , fpath):

 ndate = time.strftime ( '%Y%m%d' , time.localtime ( time.time () ) )

 for stock in lst:

 url = stock_info_url + stock + '.html' # 具体单只股票的url

 html = GetHTMLSource ( url )

 try:

 if html == "":

 continue

 infoDict = {}

 soup = BeautifulSoup ( html , 'html.parser' )

 stockInfo = soup.find ( 'div' , attrs={'class': 'stock-bets'} )

 if stockInfo == None:

 continue

 keyData = stockInfo.find_all ( 'dt' )

 valueData = stockInfo.find_all ( 'dd' )

 inp = stock + "," + ndate + ","

 for i in range ( len ( keyData ) ):

 key = keyData[ i ].text

 val = valueData[ i ].text

 infoDict[ key ] = val

 inp += infoDict[ '最高' ] + "," + infoDict[ '换手率' ] + "," + infoDict[ '成交量' ] + "," + infoDict[ '成交额' ] + "

"

 with open ( fpath , 'a' , encoding='utf-8' ) as f:

 f.write ( inp )

 except:

 traceback.print_exc ()

 continue

def main():

 stock_name_url = 'http://quote.eastmoney.com/stocklist.html'

 stock_data_url = 'http://gupiao.baidu.com/stock/'

 output_file = './' + SetFileName () + '.txt' # 输出文件的文件名,路径在默认在项目文件夹下

 slist = [ ]

 getStockList ( slist , stock_name_url ) #获取股票名称

 getStockInfo ( slist , stock_data_url , output_file ) #根据股票名称获取数据,保存到output_file文件中

main ()


黑洞http:是企业级http服务提供商,大数据采集服务服务提供商,我们拥有高品质爬虫代理,遍布全国200+城市服务器,从容应对海量IP需求,我们从不吝惜产品质量,为确保您获得最佳体验,我们选择与国内最值得信赖的运营服务商进行深度合作,提供更快,更可靠的服务。


相关文章内容简介

1 代理ip:3步教你用网络爬虫爬取股票数据

人工智能时代,大数据的获取至关重要,利用网络爬虫获取数据是当前最有效的手段。爬虫本质上就是代替人工操作访问网站,自动找到目标数据,并获取目标数据的过程。今天不谈任何协议结构,只通过结合爬取股票数据的代码介绍最基本的爬虫实现,力求让略有python基础的爱好者有一个直观印象。任务:爬取东方财富网上以6开头(比如浦发银行600000)的股票数据(最高价、换手率、成交量和成交额)。首先在东方财富网(http://quote.eastmoney.com/stocklist.html)获取全部股票代码列表,然后访问百度股市通(http://gupiao.baidu.com/stock/+股票代码)获取具体数据。第一步,访问网站,核心函数html=requests.get(url),url是访问链接,返回值html是目标网页源码的全部数据。这里的返回值与通常的网站界面不一样,网站界面的全部显示数据都在 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 09

    2019-09

    IP地址查询以及IP代理是什么?

    因特网是全世界范围内的计算机连为一体而构成的通信网络的总称。连在某个网络上的两台计算机之间在相互通信时,在它们所传送的数据包里都会含有某些附加信息,这些附加信息其实就是发

  2. 29

    2019-03

    为什么你的Python爬虫经常很容易被封,代理IP告诉你

    Python爬虫在互联网上进行数据抓取时,经常会遇见莫名其妙的封禁问题,爬着爬着就不行了,导致日常工作都无法正常运行,整个人都斯巴达了。很多朋友都不明白为什么会被封,为什么很容易

  3. 19

    2019-09

    适合大众的ip代理软件

    随着时代的发展,人们的生活质量必然会提高,这就造成了人们对各种现代化事物的研究和了解。可惜凡事有利也有弊,经常看新闻或者法制频道的人们都可以发现,很多人由于经常使用互联网

  4. 13

    2019-08

    关于代理服务器或应用程序网关

    代理服务器 的使用范围从保护企业网络到帮助学生绕过学校互联网过滤器。您不需要了解代理如何工作,但在网上冲浪时可能会遇到“代理地址”和“代理端口”这两个术语。如果您希望将浏

  5. 18

    2019-11

    为什么要选择高匿名代理IP?

    什么是高匿名代理IP?为什么很多朋友会选择是高匿名代理IP?

  6. 22

    2019-11

    为什么付费代理IP需要授权才能使用?

    为什么很多付费的代理IP需要授权才能使用,而免费的代理IP拿来就可以使用呢?很多人嫌弃付费代理授权太麻烦了,还不如免费代理方便。付费代理虽然授权比较麻烦,但为什么还是很多人选