实战：模拟Ajax请求爬取微博数据

    虽说爬虫使用了代理IP可以突破限制，加快采集速度，但是这并不代表爬虫可以随意采集到数据的，也是需要针对网站的反爬虫机制进行研究，制定应对的方法，今天跟大家去了解下Ajax加载动态数据的问题，网络爬虫怎么获取到Ajax加载动态数据呢？

    什么是Ajax加载动态数据？我们平常搜索资料，通常都是先出现一部分的数据，若是没有找到满意的答案，可以再继续下滑即可获取到新的数据。下面跟小编去看看模拟Ajax请求爬取微博数据的案例。

    这里我们用程序模拟这些Ajax请求，将我的前10页微博全部爬取下来。

    定义一个方法来获取每次请求的结果，在请求时，page是一个可变参数，所以我们将它作为方法的参数传递进来，相关代码如下：

    首先，这里定义了base_url来表示请求的URL的前半部分。接下来，构造参数字典，其中type、value和containerid是固定参数，page是可变参数。调用urlencode()方法将参数转化为URL的GET请求参数，即类似于 type=uid&value=2830678474&containerid=1076032830678474&page=2 这样的形式。并将base_url与参数拼合形成一个新的URL。这样我们用requests请求这个链接，加入headers参数。然后判断响应的状态码，如果是200，则直接调用json()方法将内容解析为JSON返回，否则不返回任何信息。如果出现异常，则捕获并输出其异常信息。

    随后，我们需要定义一个解析方法，用来从结果中提取想要的信息，比如这次想保存微博的id、正文、赞数、评论数和转发数这几个内容，那么可以先遍历cards，然后获取mblog中的各个信息，赋值为一个新的字典返回即可：

    这里我们借助pyquery将正文中的HTML标签去掉。

    最后，遍历一下 page ，一共10页，将提取到的结果打印输出即可：

    另外，我们还可以加一个方法将结果保存到MongoDB数据库：

    这样所有功能就实现完成了。运行程序后，样例输出结果如下：

    查看一下MongoDB，相应的数据也被保存到MongoDB。

    这样，我们就顺利通过分析Ajax并编写爬虫爬取下来了微博列表。

    上文主要是介绍了模拟Ajax请求爬取微博数据的案例，目的是为了演示Ajax的模拟请求过程，爬取的结果不是重点。通过这个实例，我们主要学会了怎样去分析Ajax请求，怎样用程序来模拟抓取Ajax请求。

    当然这程序仍有很多可以完善的地方，如页码的动态计算、微博查看全文等，若感兴趣，可以尝试一下。