常见Python爬虫使用代理IP的方法!大家在进行爬虫工作时候通常都会碰到类似的问题:一开始爬虫是运行正常的,采集信息,看上去一切都很完美,可是没一会的时间就可能提示异常,列入403 Forbidden;提示这个错误通常是因为目标网站设置了反爬策略,比如,服务器会检测某个ip在单位时间内的请求次数,要是超出某个阈值,服务器就会直接拒绝服务,返回一些异常信息。这里,代理ip就派上用场了。
很多新手朋友可能对如何使用代理IP不太了解,就拿当下最流行的爬虫语言Python来说一说吧。
一、urllib代理设置
from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener
proxy='123.58.10.36:8080' #使用本地代理
#proxy='username:password@123.58.10.36:8080' #购买代理
proxy_handler=ProxyHandler({
'http':'http://'+proxy,
'https':'https://'+proxy
})
opener=build_opener(proxy_handler)
try:
response=opener.open('http://httpbin.org/get') #测试ip的网址
print(response.read().decode('utf-8'))
except URLError as e:
print(e.reason)
二、requests代理设置
import requests
proxy='123.58.10.36:8080' #本地代理
#proxy='username:password@123.58.10.36:8080'
proxies={
'http':'http://'+proxy,
'https':'https://'+proxy
}
try:
response=requests.get('http://httpbin.org/get',proxies=proxies)
print(response.text)
except requests.exceptions.ConnectionError as e:
print('错误:',e.args)
三、Selenium代理设置
from selenium import webdriver
proxy='123.58.10.36:8080'
chrome_options=webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://'+proxy)
browser=webdriver.Chrome(chrome_options=chrome_options)
browser.get('http://httpbin.org/get')
相关资讯
相关文章内容简介
1 常见Python爬虫使用代理IP的方法
常见Python爬虫使用代理IP的方法!大家在进行爬虫工作时候通常都会碰到类似的问题:一开始爬虫是运行正常的,采集信息,看上去一切都很完美,可是没一会的时间就可能提示异常,列入403 Forbidden;提示这个错误通常是因为目标网站设置了反爬策略,比如,服务器会检测某个ip在单位时间内的请求次数,要是超出某个阈值,服务器就会直接拒绝服务,返回一些异常信息。这里,代理ip就派上用场了。 很多新手朋友可能对如何使用代理IP不太了解,就拿当下最流行的爬虫语言Python来说一说吧。 一、urllib代理设置 from urllib.error import URLError from urllib.request import ProxyHandler,build_opener proxy='123.58.10.3 [阅读全文]
推荐阅读
23
2019-04
如何批量爬取中国天气网的天气数据?用代理IP可以吗?
今天我们就来看下,爬虫是如何爬取中国天气网的天气数据的。这里我们以南京为例,来爬取南京近7天的天气数据。首先,我们先打开目标页面,右键检查元素,查找我们需要信息所在的标签
01
2019-09
代理ip填写格式要求
以目前很多人都在用的IE浏览器为例。首先找到要用的高匿IP,打开IE→找到设置→打开Internet选项→找到连接;然后点击代理设置;在弹出的对话框里面,选中“对此连接使用代理服务器”在弹出
14
2019-08
IP代理错误和故障排除
对于使用代理服务器过滤内容的网络,可能需要在Beam Desktop App中输入代理IP地址和端口号,以便适当地引导数据流量。
08
2019-04
游戏工作室防封号指南——使用代理ip
所有做游戏工作室的都有一个共同的敌人就是:封号!
14
2019-03
利用Python实现自动投票以及自动爬虫IP代理
我们总是会收到朋友请求帮忙投票的信息,不管是私聊还是朋友圈请求,授人以鱼不如授人以渔,不如我们来用Python写一个投票代码的爬虫
18
2019-10
哪些行业需要用到大量的ip代理?
SEO、广告群发、邮件群发等
热门文章
注意: 严禁一切违规违法的业务,一经发现直接封帐号
Powered by wanchen tech. © | 粤ICP备18047396号-6 广州万宸软件科技有限公司http代理 版权所有