黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

代理IP爬虫怎么采集网页源码中看不到的数据

发布时间:2019年03月20日 来源:http://http.hunbovps.com/News/getList/catid/8/id/158.html

如何从网页源码中抓取自己想要的数据,可是还有很多数据是源码中看不到的。


代理IP爬虫怎么采集网页源码中看不到的数据

显示金额为25000


如上图中,我想取到红框中“保证金”的金额,但是通过查看网页源码发现保证金的金额在源码中是看不到的。下面教大家使用ForeSpider数据采集软件的时候是怎样抓取这样的数据的。


代理IP爬虫怎么采集网页源码中看不到的数据

网页源码中没有数据


先在网页中打开网址,右键页面上任意地方,点击“审查元素”,打开开发者工具,如下图中,点击“启用网络流量捕获”,再刷新一下页面。


代理IP爬虫怎么采集网页源码中看不到的数据

在搜索框中输入我们想要找的数据,我这次要取的保证金金额是“25000”,输入以后点击搜索按钮,发现相应正文中有需要的数据。数据已经找到,接下来就可以使用ForeSpider数据采集软件写脚本爬取数据了。


代理IP爬虫怎么采集网页源码中看不到的数据

下面是数据采集的脚本,这次写在了字段中,“字段处理”选择“脚本处理”,每一行的意义都在注释中写明。


代理IP爬虫怎么采集网页源码中看不到的数据

脚本中refer和cookie信息是在浏览器的请求标头里,变量ur赋值是在摘要的url地址。


代理IP爬虫怎么采集网页源码中看不到的数据

本次脚本使用的方法Opendoc,在ForeSpider数据采集系统的帮助文档中有详细的说明。


相关文章内容简介

1 代理IP爬虫怎么采集网页源码中看不到的数据

如何从网页源码中抓取自己想要的数据,可是还有很多数据是源码中看不到的。显示金额为25000如上图中,我想取到红框中“保证金”的金额,但是通过查看网页源码发现保证金的金额在源码中是看不到的。下面教大家使用ForeSpider数据采集软件的时候是怎样抓取这样的数据的。网页源码中没有数据先在网页中打开网址,右键页面上任意地方,点击“审查元素”,打开开发者工具,如下图中,点击“启用网络流量捕获”,再刷新一下页面。在搜索框中输入我们想要找的数据,我这次要取的保证金金额是“25000”,输入以后点击搜索按钮,发现相应正文中有需要的数据。数据已经找到,接下来就可以使用ForeSpider数据采集软件写脚本爬取数据了。下面是数据采集的脚本,这次写在了字段中,“字段处理”选择“脚本处理”,每一行的意义都在注释中写明。脚本中refer和cookie信息是在浏览器的请求标头里,变量ur赋值是在摘要的url地址。 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 29

    2019-10

    选择代理IP要着重注意这三点

    随着互联网入侵人们的工作和生活,现在很多公司都在网上开展业务,但由于网络的一些限制,代理IP这个工具就走入了人们的生活,使用代理IP可以解决各种IP限制为问题。随着需求增多,能提

  2. 26

    2019-10

    如何给浏览器设置代理ip服务器?

    代理ip的作用非常之多,在用代理ip之前,我们先要设置好,那该怎么设置呢,下面我们来看看。

  3. 15

    2019-05

    如何利用IP代理软件做问答推广

    毕业后,我去了一家公司,这家公司上下全都围绕着一个网站来做。而我被分配了做外推的问答推广方面上,因为刚开始没有什么经验,在做推广问答的时候,没两天的时间,公司分配的几个账

  4. 25

    2019-03

    http代理IP如何使用,失效了怎么解决

    什么是代理IP?代理服务器(Proxy)是网络信息的中转站,比方说HTTP代理服务器。我们使用网络浏览器直接链接其他Internet站点并取得网络信息时,需送出Request信号来得到回答,然后对方再把信

  5. 15

    2019-08

    关于使用代理ip进行挖掘的常见问题

    虽然 代理服务器 特别昂贵但并不是特别贵啦,但重要的是要把事情放在眼前,并认识到如果你的目标网站检测到你并且提供了伪造的信息,这可能会导致更大的资金负担; 在这一点上,支付具

  6. 20

    2019-03

    动态ip代理会让游戏封号吗?

    封号,是广大玩家和游戏工作室最不想碰到的事之一。封号的理由也是千奇百怪。不管是挂机还是注册账号或是别的,很多人都被封号过,辛苦的成果付诸东流不说,还有可能被游戏公司“拉黑