IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

代理ip:3步教你用网络爬虫爬取股票数据

发布时间:2019年03月18日 来源:互联网

人工智能时代,大数据的获取至关重要,利用网络爬虫获取数据是当前最有效的手段。爬虫本质上就是代替人工操作访问网站,自动找到目标数据,并获取目标数据的过程。今天不谈任何协议结构,只通过结合爬取股票数据的代码介绍最基本的爬虫实现,力求让略有python基础的爱好者有一个直观印象。


任务:爬取东方财富网上以6开头(比如浦发银行600000)的股票数据(最高价、换手率、成交量和成交额)。首先在东方财富网(http://quote.eastmoney.com/stocklist.html)获取全部股票代码列表,然后访问百度股市通(http://gupiao.baidu.com/stock/+股票代码)获取具体数据。


第一步,访问网站,核心函数html=requests.get(url),url是访问链接,返回值html是目标网页源码的全部数据。这里的返回值与通常的网站界面不一样,网站界面的全部显示数据都在源码中有详细记录。点击网页右键查看源代码即可看到。


代理ip:3步教你用网络爬虫爬取股票数据


部分网页源码


第二步,从第一步获取的网页源码数据找到我们需要的目标数据,网页源码按照一定的格式标签排列,通过标签访问目标数据,这个过程称为数据解析和查找。目标函数


解析函数soup = BeautifulSoup ( html , 'html.parser' )


查找函数 find() 或者find_all()或者利用正则表达式对字符串进行匹配查找。


第三步,按照一定格式进行数据存储。可直接存储到txt文件即可。程序运行后部分结果数据如下图


代理ip:3步教你用网络爬虫爬取股票数据

部分结果数据


Python3.5 实现代码如下:


from bs4 import BeautifulSoup

import traceback

import re

import time

import requests

def GetHTMLSource(url): # 得到目标网页源码

 try:

 r=requests.get(url)

 r.raise_for_status ()

 r.encoding = r.apparent_encoding

 return r.text

 except:

 print ( "异常" )

 return ""

def SetFileName():

 dirname = time.strftime ( '%Y%m%d' , time.localtime ( time.time () ) ) #获取当前日期

 dirname += 'sh'

 return dirname

def getStockList(lst , stock_list_url): # 获得东方财富网上以sh6开头的股票代码

 html = GetHTMLSource ( stock_list_url )

 soupdata = BeautifulSoup ( html , 'html.parser' )

 a = soupdata.find_all ( 'a' ) # 用find_all方法遍历所有'a'标签,并取出在'a'标签里面的’href’数据

 for i in a:

 try:

 href = i.attrs[ 'href' ]

 lst.append ( re.findall ( r"sh6d{5}" , href )[ 0 ] ) # 匹配sh6开头的股票

 except:

 continue

def getStockInfo(lst , stock_info_url , fpath):

 ndate = time.strftime ( '%Y%m%d' , time.localtime ( time.time () ) )

 for stock in lst:

 url = stock_info_url + stock + '.html' # 具体单只股票的url

 html = GetHTMLSource ( url )

 try:

 if html == "":

 continue

 infoDict = {}

 soup = BeautifulSoup ( html , 'html.parser' )

 stockInfo = soup.find ( 'div' , attrs={'class': 'stock-bets'} )

 if stockInfo == None:

 continue

 keyData = stockInfo.find_all ( 'dt' )

 valueData = stockInfo.find_all ( 'dd' )

 inp = stock + "," + ndate + ","

 for i in range ( len ( keyData ) ):

 key = keyData[ i ].text

 val = valueData[ i ].text

 infoDict[ key ] = val

 inp += infoDict[ '最高' ] + "," + infoDict[ '换手率' ] + "," + infoDict[ '成交量' ] + "," + infoDict[ '成交额' ] + "

"

 with open ( fpath , 'a' , encoding='utf-8' ) as f:

 f.write ( inp )

 except:

 traceback.print_exc ()

 continue

def main():

 stock_name_url = 'http://quote.eastmoney.com/stocklist.html'

 stock_data_url = 'http://gupiao.baidu.com/stock/'

 output_file = './' + SetFileName () + '.txt' # 输出文件的文件名,路径在默认在项目文件夹下

 slist = [ ]

 getStockList ( slist , stock_name_url ) #获取股票名称

 getStockInfo ( slist , stock_data_url , output_file ) #根据股票名称获取数据,保存到output_file文件中

main ()


黑洞http:是企业级http服务提供商,大数据采集服务服务提供商,我们拥有高品质爬虫代理,遍布全国200+城市服务器,从容应对海量IP需求,我们从不吝惜产品质量,为确保您获得最佳体验,我们选择与国内最值得信赖的运营服务商进行深度合作,提供更快,更可靠的服务。


相关文章内容简介

1 代理ip:3步教你用网络爬虫爬取股票数据

人工智能时代,大数据的获取至关重要,利用网络爬虫获取数据是当前最有效的手段。爬虫本质上就是代替人工操作访问网站,自动找到目标数据,并获取目标数据的过程。今天不谈任何协议结构,只通过结合爬取股票数据的代码介绍最基本的爬虫实现,力求让略有python基础的爱好者有一个直观印象。任务:爬取东方财富网上以6开头(比如浦发银行600000)的股票数据(最高价、换手率、成交量和成交额)。首先在东方财富网(http://quote.eastmoney.com/stocklist.html)获取全部股票代码列表,然后访问百度股市通(http://gupiao.baidu.com/stock/+股票代码)获取具体数据。第一步,访问网站,核心函数html=requests.get(url),url是访问链接,返回值html是目标网页源码的全部数据。这里的返回值与通常的网站界面不一样,网站界面的全部显示数据都在 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 07

    2019-05

    动态ip代理:保护ip地址,这五种方法请收好

    大伙儿知晓,假如限制客户修改TCP/IP参数的话,哪么这类客户即使修改IP地址,也无法使用新的IP地址,如此就失去了盗用IP的意义。而要成功限制客户随意修改TCP/IP参数,最直接的方法就是让客

  2. 15

    2019-06

    易语言如何使用代理IP呢?

    熟悉网络程序的人都知道易语言,简单介绍一下,语言是一门以中文作为程序代码编程语言。以“易”著称。创始人为吴涛。早期版本的名字为E语言。易语言最早的版本的发布可追溯至2000年9月

  3. 06

    2019-03

    使用代理IP,别人能查到真实地址吗?

    代理IP的时代来临,代理IP在人们的生活工作中起的作用也越来越大,有人用来做爬虫,有人用来批量注册等等,但很多人在选择代理IP时,很多人根本不清楚要选什么样的代理IP,什么样的代理I

  4. 15

    2019-06

    便宜稳定的ip代理软件推荐

    ip代理软件的价格是用户比较看重的,很多时候价格还是决定性的因素,今天黑洞http就为大家介绍下一些便宜稳定的ip代理软件的。

  5. 16

    2019-05

    如何使用代理IP做京东的单

    随着淘宝后台对同一ip地址多次给同一家店铺做单进行排查,京东也实行了这一政策,这真的是要逼死做单人员的节奏啊。

  6. 28

    2019-03

    高匿代理IP到底有多高,一手私密代理告诉你

    前几天,有个朋友问我,黑洞http的代理IP是高匿代理IP吗?我很肯定的回答他是的,接下来他问了一句我懵逼的话:你家的高匿代理有多高呢,太低了可不行,会被识别出来的。