黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > 高质量代理 > 正文

Python爬虫之GET请求

发布时间:2019年02月20日 来源:互联网

    浏览器主要是为用户向服务器发起请求,并获取到信息。如果爬虫想要模仿浏览器获取信息的过程,应该怎么实现呢?需要利用哪些工具?


    浏览器是通过HTTP协议的请求获取信息的,URL只是标识资源的位置。客户端发送一个HTTP请求到服务器请求消息,包括如下格式:请求行、请求头部、空行、请求数据。


    请求行由请求方法字段、URL字段和HTTP协议版本字段组成,通过空格分隔,例如:GET /index.html HTTP/1.1。HTTP协议的请求方法主要有POST和GET:


    1.POST向服务器传送数据


    POST请求参数在请求体中,消息长度没有限制且以隐式的方式进行发送,通过用来向HTTP服务器提交数据(上传文件等),请求的参数放在Content-Type消息头中,指明该消息的媒体类型和编码。


    "POST"请求的参数 不在URL中,而在请求体中。


    2.GET从服务器获取数据


    定义: 最常见的一种请求方式,当客户端要从服务器中读取文档时,当点击网页上的链接或者通过在浏览器的地址栏输入网址来浏览网页的,使用的都是GET方式。


    GET请求参数显示,都显示在浏览器网址上,HTTP服务器根据该请求所包含的URL参数来阐述响应内容,即GET请求的参数是URL的一部分: http://www.baidu.com/s?wd=Chinese。


    "Get" 请求的参数 是URL的一部分。


    举个例子:


    我们用百度搜索:https://www.baidu.com/s?wd=关键词


    浏览器的url会跳转成:https://www.baidu.com/s?wd=%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2


    在其中我们可以看到在请求部分里,http://www.baidu.com/s? 之后出现一个长长的字符串,其中就包含我们要查询的关键词,于是我们可以尝试用默认的Get方式来发送请求。


    Python爬虫之GET请求


相关文章内容简介

1 Python爬虫之GET请求

    浏览器主要是为用户向服务器发起请求,并获取到信息。如果爬虫想要模仿浏览器获取信息的过程,应该怎么实现呢?需要利用哪些工具?    浏览器是通过HTTP协议的请求获取信息的,URL只是标识资源的位置。客户端发送一个HTTP请求到服务器请求消息,包括如下格式:请求行、请求头部、空行、请求数据。    请求行由请求方法字段、URL字段和HTTP协议版本字段组成,通过空格分隔,例如:GET /index.html HTTP/1.1。HTTP协议的请求方法主要有POST和GET:    1.POST向服务器传送数据    POST请求参数在请求体中,消息长度没有限制且以隐式的方式进行发送,通过用来向HTTP服务器提交数据(上传文件等),请求的参数放在Content-Type消息头中,指明该消息 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 10

    2019-05

    Ip代理工具排行榜分析

    但凡使用过或者正在使用ip代理工具的用户,对ip代理工具排行榜都是不陌生的,很多用户对代理工具的了解和选择很多时候都是靠着这个排行榜来实现的。

  2. 06

    2019-05

    三分钟看明白什么是ip代理?

    Internet协议(ip)是将数据从一台计算机发送到Internet上的另一台计算机的方法(协议)。

  3. 24

    2019-01

    什么是SOCKS代理服务器?

    什么是SOCKS代理服务器?SOCKS是一种数据传输协议,主要用于客户端与外网地址服务器之间通讯设备的中间传递。SOCKS是"Sockets”的缩写。

  4. 11

    2019-02

    爬虫如何爬取页面数据的方法

    当我们需要获取一些页面信息时,通过会自己去复制下载。但如果需要获取大量的页面信息时,单靠人工的操作是非常耗时间的,而且还需要整理之类的,于是当需要大量获取信息是,可以使用

  5. 10

    2019-05

    ip代理工具的类型

    大家都知道现在市场上关于ip代理工具的类型非常多,因为现在人们对于ip的需求非常多。对于纷繁复杂的工具很多人都不知道如何进行正确的选择。甚至很多人在考虑到代理工具的下载方面他

  6. 10

    2019-05

    ip代理工具好处多多

    如果您从事的是销售工作,经常需要在各种各样的平台以及网站上进行操作的话,一定要选择一个比较好的ip代理工具。好的ip代理工具能够让您随时随地更换ip地址,让上网变成一件随心所欲的