爬虫如何伪装用户发起请求？

    爬虫在采集网页数据的时候，很多信息都是伪装的，不然会被对方服务器识别到这是爬虫，并进行拦截。因此，爬虫需要模仿正常用户访问，把自己的信息都伪装好，这样才能成功的获取到网页数据。今天先来聊一聊爬虫如何伪装用户发起请求。

    1.用户访问网页的流程

    我们打开一个网页的过程，就是一次http请求的过程。这个过程中，我们自己的主机充当着客户机的作用，而充当客户端的是浏览器。我们输入的URL对应着网络中某台服务器上面的资源，服务器接收到客户端发出的http请求之后，会给客户端一个响应，响应的内容就是请求的URL对应的内容，当客户端接收到服务器的响应时，我们就可以在浏览器上看见请求的信息了。这一过程如下图所示：

    知道了http的基本请求过程，就可以通过代码进行体验了。

    2.爬虫通过requests发起http请求

    我们可以通过python的requests模块很方便的发起http请求。requests模块是第三方模块，安装完成之后直接import就能使用。

    上面的代码中，我们向服务器发送了一个get请求，获取首页的nba新闻。headers参数指的是http请求的首部信息，我们请求的url对应的资源是新闻的首页。

    以上介绍了爬虫如何伪装用户发起请求，当我们成功的获取到对应的网页后，就可以进行网页数据的提取工作。在访问过程中，要注意访问速度，因为访问速度过快，也会被拦截，这时可以使用黑洞HTTP代理，通过更换不同IP的方法，来提高访问的速度。