黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

爬取猫眼top100、淘宝美食、微信文章、ip代理池实现、scrapy入

发布时间:2019年03月19日 来源:互联网

python3爬虫教程

爬取猫眼top100电影

爬取猫眼top100、淘宝美食、微信文章、ip代理池实现、scrapy入

简述:


利用requests和简单的正则表达式进行数据的爬取,并利用multiprocessing.Pool线程池加快速度

爬取头条街拍图片


简述:


利用requests的session特性进行爬取,同时添加headers防止网站反爬,并把数据存储进mongoDB

问题1:


爬取返回数据`<html><body></body></html>`, 并不是正确的数据

解决:


利用requests.session(), 添加头信息headers的user-Agent, 替换之前的直接的requests请求

问题2:


头条图片的js格式出现改变

解决:


图片正则表达式:

```

images_pattern = re.compile('gallery: JSON.parse("(.*?)"),', re.S)

result = re.search(images_pattern, html)

data = json.loads(result.group(1).replace('\', ''))

```

爬取淘宝美食


简述:


利用selenium+chrome自动爬取淘宝美食,并利用pyquery分析数据,存入mongodb

改进:


利用chrome新特性headless进行后台爬取

```

options = webdriver.ChromeOptions()

options.add_argument('headless')

browser = webdriver.Chrome(chrome_options=options)

```

代理池


简述:


ip代理池,防止网站反爬设置代理池

文件:


api.py: flask api 对外接口,获取proxy ip

conf.py: 代理设置文件

db.py: redis数据库操作

getter.py: 获取代理IP

spider.py: 代理handler设置

schedule.py: 调度器,调度getter和validator

utils.py: 工具函数

validator.py: 验证代理是否可用

爬取微信文章


错误:


Error Occurred

(MaxRetryError("HTTPConnectionPool(host='180.118.86.57', port=9000):

Max retries exceeded with url: http://weixin.sogou.com/weixin?query=%E9%A3%8E%E6%99%AF&page=1&type=2

(Caused by ProxyError('Cannot connect to proxy.', NewConnectionError('<urllib3.connection.HTTPConnection

object at 0x7f0040885470>: Failed to establish a new connection: [Errno 111] Connection refused',)))",),)

原因:


因为在每次数据传输前客户端要和服务器建立TCP连接,为节省传输消耗,

默认为keep-alive,即连接一次,传输多次,然而在多次访问后不能结束并回到连接池中,导致不能产生新的连接

解决:


headers中的Connection默认为keep-alive,

将header中的Connection一项置为close

```

headers = {

 'Connection': 'close',

}

r = requests.get(url, headers=headers)

```

scrapy 入门:


问题:


```

from quotetutrial.quotetutrial.items import QuoteItem

ImportError: No module named 'quotetutrial.quotetutrial'

```

解决:


需要从项目中引入,不是目录

```

 from quotetutrial.items import QuoteItem

```

scrapy 爬取知乎用户信息


相关文章内容简介

1 爬取猫眼top100、淘宝美食、微信文章、ip代理池实现、scrapy入

python3爬虫教程爬取猫眼top100电影简述:利用requests和简单的正则表达式进行数据的爬取,并利用multiprocessing.Pool线程池加快速度爬取头条街拍图片简述:利用requests的session特性进行爬取,同时添加headers防止网站反爬,并把数据存储进mongoDB问题1:爬取返回数据`<html><body></body></html>`, 并不是正确的数据解决:利用requests.session(), 添加头信息headers的user-Agent, 替换之前的直接的requests请求问题2:头条图片的js格式出现改变解决:图片正则表达式:```images_pattern = re.compile('gallery: JSON.parse("(.*?)"),', [阅读全文]

热门标签

最新标签

推荐阅读

  1. 25

    2019-05

    https代理ip是怎么样的

    在目前的网络上,https代理ip应用得非常广泛。因为我们在网上浏览的时候,很多时候需要用到ip代理。在这个时候,我们就需要去找专门的服务商来进行ip代理。如果要做ip代理的话,应该去找

  2. 15

    2019-04

    代理IP帮你掌握微信营销

    微信营销,归结于是人的营销,首先要把自己推销出去,让大家对你产生好感,好的印象,自然才会关注你的产品,购买你的产品。所以在选择好的产品之后,就要围绕如何在微信圈树立你的个

  3. 05

    2019-10

    代理ip价格与质量的关系

    有人说去购买 代理ip 池,可网站上的 代理服务器 那么多,哪家才是好的呢?很多朋友第一就是看价格,为了节省成本尽量选便宜的,也有朋友认为贵的就是好的。其实,选择代理ip价格只是一

  4. 15

    2019-05

    你需要拥有一个适合你的ip代理软件

    现在网络化已经非常普遍了,有很多的事情大家都特别喜欢在网络上进行解决。浏览网站的时候ip地址是唯一的,ip地址是唯一的所以很容易查到目前你的浏览情况。特别是从事一些销售类行

  5. 17

    2019-05

    selenium+python设置爬虫代理IP的方法

    在使用selenium浏览器渲染技术,当我们爬取某个网站的信息的时候,在一般情况下速度都不是特别的快。而且需要利用selenium浏览器渲染技术爬取的网站,反爬虫的应对技术都比较厉害,对IP访

  6. 25

    2019-10

    如何挑选高匿名代理IP?

    代理IP的质量是很重要的,只有好的代理IP才能解决问题,不然只会徒增烦恼。所以挑选的时候要多看几家进行对比,代理IP是最常见的换IP工具了,现在很多用户都在使用。但代理IP也分为不同