IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

常见Python爬虫使用代理IP的方法

发布时间:2019年04月13日 来源:互联网

  常见Python爬虫使用代理IP的方法!大家在进行爬虫工作时候通常都会碰到类似的问题:一开始爬虫是运行正常的,采集信息,看上去一切都很完美,可是没一会的时间就可能提示异常,列入403 Forbidden;提示这个错误通常是因为目标网站设置了反爬策略,比如,服务器会检测某个ip在单位时间内的请求次数,要是超出某个阈值,服务器就会直接拒绝服务,返回一些异常信息。这里,代理ip就派上用场了。


常见Python爬虫使用代理IP的方法

  

       很多新手朋友可能对如何使用代理IP不太了解,就拿当下最流行的爬虫语言Python来说一说吧。


  一、urllib代理设置

  from urllib.error import URLError

  from urllib.request import ProxyHandler,build_opener

  proxy='123.58.10.36:8080' #使用本地代理

  #proxy='username:password@123.58.10.36:8080' #购买代理

  proxy_handler=ProxyHandler({

  'http':'http://'+proxy,

  'https':'https://'+proxy

  })

  opener=build_opener(proxy_handler)

  try:

  response=opener.open('http://httpbin.org/get') #测试ip的网址

  print(response.read().decode('utf-8'))

  except URLError as e:

  print(e.reason)


  二、requests代理设置

  import requests

  proxy='123.58.10.36:8080' #本地代理

  #proxy='username:password@123.58.10.36:8080'

  proxies={

  'http':'http://'+proxy,

  'https':'https://'+proxy

  }

  try:

  response=requests.get('http://httpbin.org/get',proxies=proxies)

  print(response.text)

  except requests.exceptions.ConnectionError as e:

  print('错误:',e.args)


  三、Selenium代理设置

  from selenium import webdriver

  proxy='123.58.10.36:8080'

  chrome_options=webdriver.ChromeOptions()

  chrome_options.add_argument('--proxy-server=http://'+proxy)

  browser=webdriver.Chrome(chrome_options=chrome_options)

  browser.get('http://httpbin.org/get')


相关文章内容简介

1 常见Python爬虫使用代理IP的方法

  常见Python爬虫使用代理IP的方法!大家在进行爬虫工作时候通常都会碰到类似的问题:一开始爬虫是运行正常的,采集信息,看上去一切都很完美,可是没一会的时间就可能提示异常,列入403 Forbidden;提示这个错误通常是因为目标网站设置了反爬策略,比如,服务器会检测某个ip在单位时间内的请求次数,要是超出某个阈值,服务器就会直接拒绝服务,返回一些异常信息。这里,代理ip就派上用场了。         很多新手朋友可能对如何使用代理IP不太了解,就拿当下最流行的爬虫语言Python来说一说吧。  一、urllib代理设置  from urllib.error import URLError  from urllib.request import ProxyHandler,build_opener  proxy='123.58.10.3 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 24

    2019-05

    高匿代理IP和透明代理IP有什么区别?

    黑洞HTTP前面为您简述过,使用高匿代理IP后,访问者的IP跟是否在使用代理服务器将同时被保密。那么使用黑洞HTTP服务器主打的高匿代理和透明代理又有什么区别呢?

  2. 10

    2019-06

    免费HTTP代理IP安全吗?

    目前市面上的代理IP的提供商如雨后春笋般,数不胜数。商家提供的产品和服务差不多,但速度和质量就泾渭分明了。从价格上区分有免费的和收费的。

  3. 09

    2019-05

    代理IP安全有保障吗?

    很多时候,互联网给我们带来了很多的便利,同时也给存在着很多漏洞和欺骗,稍微不注意电脑信息就会被丢失,非常的不安全,遇到这样的情况可以选择蚂蚁浏览器代理IP,这样一来安全性能

  4. 08

    2019-11

    改IP地址有什么影响?

    我们经常说的IP地址,实际上指的是网络协议的地址,一般来说都是不能改变的,很多小伙伴都会有一个疑问,那就是改IP地址后会不会对电脑有什么影响呢?想知道的小伙伴就请跟小编一起往下

  5. 20

    2019-05

    如何获取高匿代理IP资源

    我们知道,代理IP分为透明代理、普匿代理和高匿代理,其中透明代理会被目标服务器识别并知晓真实IP,普匿代理会被目标服务器识别使用了代理但并不知道真实IP,高匿代理不会被服务器知

  6. 17

    2019-10

    代理ip服务器实现上网自由

    ip被封,会导致我们生活和工作受到很大的限制,这个时候该怎么办呢?只有换ip了,例如重启路由器的办法很多,但是却很麻烦,这些限制,都可以用代理服务器解决。