IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

代理IP爬虫怎么采集网页源码中看不到的数据

发布时间:2019年03月20日 来源:http://http.hunbovps.com/News/getList/catid/8/id/158.html

如何从网页源码中抓取自己想要的数据,可是还有很多数据是源码中看不到的。


代理IP爬虫怎么采集网页源码中看不到的数据

显示金额为25000


如上图中,我想取到红框中“保证金”的金额,但是通过查看网页源码发现保证金的金额在源码中是看不到的。下面教大家使用ForeSpider数据采集软件的时候是怎样抓取这样的数据的。


代理IP爬虫怎么采集网页源码中看不到的数据

网页源码中没有数据


先在网页中打开网址,右键页面上任意地方,点击“审查元素”,打开开发者工具,如下图中,点击“启用网络流量捕获”,再刷新一下页面。


代理IP爬虫怎么采集网页源码中看不到的数据

在搜索框中输入我们想要找的数据,我这次要取的保证金金额是“25000”,输入以后点击搜索按钮,发现相应正文中有需要的数据。数据已经找到,接下来就可以使用ForeSpider数据采集软件写脚本爬取数据了。


代理IP爬虫怎么采集网页源码中看不到的数据

下面是数据采集的脚本,这次写在了字段中,“字段处理”选择“脚本处理”,每一行的意义都在注释中写明。


代理IP爬虫怎么采集网页源码中看不到的数据

脚本中refer和cookie信息是在浏览器的请求标头里,变量ur赋值是在摘要的url地址。


代理IP爬虫怎么采集网页源码中看不到的数据

本次脚本使用的方法Opendoc,在ForeSpider数据采集系统的帮助文档中有详细的说明。


相关文章内容简介

1 代理IP爬虫怎么采集网页源码中看不到的数据

如何从网页源码中抓取自己想要的数据,可是还有很多数据是源码中看不到的。显示金额为25000如上图中,我想取到红框中“保证金”的金额,但是通过查看网页源码发现保证金的金额在源码中是看不到的。下面教大家使用ForeSpider数据采集软件的时候是怎样抓取这样的数据的。网页源码中没有数据先在网页中打开网址,右键页面上任意地方,点击“审查元素”,打开开发者工具,如下图中,点击“启用网络流量捕获”,再刷新一下页面。在搜索框中输入我们想要找的数据,我这次要取的保证金金额是“25000”,输入以后点击搜索按钮,发现相应正文中有需要的数据。数据已经找到,接下来就可以使用ForeSpider数据采集软件写脚本爬取数据了。下面是数据采集的脚本,这次写在了字段中,“字段处理”选择“脚本处理”,每一行的意义都在注释中写明。脚本中refer和cookie信息是在浏览器的请求标头里,变量ur赋值是在摘要的url地址。 [阅读全文]

热门标签

最新标签