IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

代理ip:3步教你用网络爬虫爬取股票数据

发布时间:2019年03月18日 来源:互联网

人工智能时代,大数据的获取至关重要,利用网络爬虫获取数据是当前最有效的手段。爬虫本质上就是代替人工操作访问网站,自动找到目标数据,并获取目标数据的过程。今天不谈任何协议结构,只通过结合爬取股票数据的代码介绍最基本的爬虫实现,力求让略有python基础的爱好者有一个直观印象。


任务:爬取东方财富网上以6开头(比如浦发银行600000)的股票数据(最高价、换手率、成交量和成交额)。首先在东方财富网(http://quote.eastmoney.com/stocklist.html)获取全部股票代码列表,然后访问百度股市通(http://gupiao.baidu.com/stock/+股票代码)获取具体数据。


第一步,访问网站,核心函数html=requests.get(url),url是访问链接,返回值html是目标网页源码的全部数据。这里的返回值与通常的网站界面不一样,网站界面的全部显示数据都在源码中有详细记录。点击网页右键查看源代码即可看到。


代理ip:3步教你用网络爬虫爬取股票数据


部分网页源码


第二步,从第一步获取的网页源码数据找到我们需要的目标数据,网页源码按照一定的格式标签排列,通过标签访问目标数据,这个过程称为数据解析和查找。目标函数


解析函数soup = BeautifulSoup ( html , 'html.parser' )


查找函数 find() 或者find_all()或者利用正则表达式对字符串进行匹配查找。


第三步,按照一定格式进行数据存储。可直接存储到txt文件即可。程序运行后部分结果数据如下图


代理ip:3步教你用网络爬虫爬取股票数据

部分结果数据


Python3.5 实现代码如下:


from bs4 import BeautifulSoup

import traceback

import re

import time

import requests

def GetHTMLSource(url): # 得到目标网页源码

 try:

 r=requests.get(url)

 r.raise_for_status ()

 r.encoding = r.apparent_encoding

 return r.text

 except:

 print ( "异常" )

 return ""

def SetFileName():

 dirname = time.strftime ( '%Y%m%d' , time.localtime ( time.time () ) ) #获取当前日期

 dirname += 'sh'

 return dirname

def getStockList(lst , stock_list_url): # 获得东方财富网上以sh6开头的股票代码

 html = GetHTMLSource ( stock_list_url )

 soupdata = BeautifulSoup ( html , 'html.parser' )

 a = soupdata.find_all ( 'a' ) # 用find_all方法遍历所有'a'标签,并取出在'a'标签里面的’href’数据

 for i in a:

 try:

 href = i.attrs[ 'href' ]

 lst.append ( re.findall ( r"sh6d{5}" , href )[ 0 ] ) # 匹配sh6开头的股票

 except:

 continue

def getStockInfo(lst , stock_info_url , fpath):

 ndate = time.strftime ( '%Y%m%d' , time.localtime ( time.time () ) )

 for stock in lst:

 url = stock_info_url + stock + '.html' # 具体单只股票的url

 html = GetHTMLSource ( url )

 try:

 if html == "":

 continue

 infoDict = {}

 soup = BeautifulSoup ( html , 'html.parser' )

 stockInfo = soup.find ( 'div' , attrs={'class': 'stock-bets'} )

 if stockInfo == None:

 continue

 keyData = stockInfo.find_all ( 'dt' )

 valueData = stockInfo.find_all ( 'dd' )

 inp = stock + "," + ndate + ","

 for i in range ( len ( keyData ) ):

 key = keyData[ i ].text

 val = valueData[ i ].text

 infoDict[ key ] = val

 inp += infoDict[ '最高' ] + "," + infoDict[ '换手率' ] + "," + infoDict[ '成交量' ] + "," + infoDict[ '成交额' ] + "

"

 with open ( fpath , 'a' , encoding='utf-8' ) as f:

 f.write ( inp )

 except:

 traceback.print_exc ()

 continue

def main():

 stock_name_url = 'http://quote.eastmoney.com/stocklist.html'

 stock_data_url = 'http://gupiao.baidu.com/stock/'

 output_file = './' + SetFileName () + '.txt' # 输出文件的文件名,路径在默认在项目文件夹下

 slist = [ ]

 getStockList ( slist , stock_name_url ) #获取股票名称

 getStockInfo ( slist , stock_data_url , output_file ) #根据股票名称获取数据,保存到output_file文件中

main ()


黑洞http:是企业级http服务提供商,大数据采集服务服务提供商,我们拥有高品质爬虫代理,遍布全国200+城市服务器,从容应对海量IP需求,我们从不吝惜产品质量,为确保您获得最佳体验,我们选择与国内最值得信赖的运营服务商进行深度合作,提供更快,更可靠的服务。


相关文章内容简介

1 代理ip:3步教你用网络爬虫爬取股票数据

人工智能时代,大数据的获取至关重要,利用网络爬虫获取数据是当前最有效的手段。爬虫本质上就是代替人工操作访问网站,自动找到目标数据,并获取目标数据的过程。今天不谈任何协议结构,只通过结合爬取股票数据的代码介绍最基本的爬虫实现,力求让略有python基础的爱好者有一个直观印象。任务:爬取东方财富网上以6开头(比如浦发银行600000)的股票数据(最高价、换手率、成交量和成交额)。首先在东方财富网(http://quote.eastmoney.com/stocklist.html)获取全部股票代码列表,然后访问百度股市通(http://gupiao.baidu.com/stock/+股票代码)获取具体数据。第一步,访问网站,核心函数html=requests.get(url),url是访问链接,返回值html是目标网页源码的全部数据。这里的返回值与通常的网站界面不一样,网站界面的全部显示数据都在 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 17

    2019-05

    有没有物美价廉的代理IP?

    如今随着人们对互联网越来越深入的了解,提到换ip软件所有人都不陌生。可以说现在有80%的行业都需要用到代理IP,不是在很多家庭中一些普通用户在日常生活中也开始使用代理IP。不仅充分

  2. 28

    2019-06

    注册账号可以用代理IP吗?

    在现在这个网络为主导信息的时代,新旧交替迅速,一些事物的产生也是一夜之间就遍地开花,就像代理IP,刚开始出现是为了满足人们访问的网站的需要,慢慢的人们发现很多地方都可以使用

  3. 06

    2019-09

    如何判断代理IP的匿名程度和是否有效?

    我们在使用代理IP的时候,一般都要使用高度匿名,不然使用效果不好。但现在市场上很多代理IP都是混合的,特别是免费代理IP,都到达不到高度匿名。那么,我们要怎么判断代理IP的匿名程度

  4. 14

    2019-05

    代理IP功能怎么样?

    可以直接将代理设为浏览器的代理,不但能设置局域网代理,而且不能设置拨号、ADSL等代理。

  5. 01

    2019-11

    如何分辨是否真独享代理ip?

    代理ip分为独享代理ip池和共享代理ip池,经常听到朋友在问,独享IP池是什么样的,和共享IP池有什么区别,今天就来讨论下。

  6. 09

    2019-05

    代理IP工具收费标准是什么?

    如今代理IP工具在营销领域,无论是主动式的发布推广信息,还是被动性反制竞争对手的恶意点击来说,都具有不可替代的作用。可细心的人们发现市面上代理IP的软件太多,如何选择一款最好