IP代理软件,http代理,API提取-黑洞HTTP

黑洞HTTP

您的位置: 首页 > 新闻资讯 > HTTP代理 > 正文

IP代理:如何使用Python建立你的数据分析项目

发布时间:2019年03月18日 来源:http://http.hunbovps.com/News/getList/catid/8/id/128.html

现在有很多文章对复杂的机器学习算法和前沿的技术进行了展示,而这也促使数据科学家们慢慢变成了“社交控”( FOMO )。但数据分析的基本内容究竟是什么样的?你应当怎样安排项目结构?你需要使用什么样的工具?等等诸如此类的问题却鲜有人问津。本文将会对如何建立项目提供一些启发思路,以帮助你快速达到在数据科学领域能有所产出的境界。


IP代理:如何使用Python建立你的数据分析项目


项目结构


项目的结构总是为了契合人们的需求而得到不断完善,这会导致在一个团队中出现不同的项目构架。如果你或者团队中的其他人能够及时发现项目结构的重要性,并且这个概念在团队中得到推广,那么,你无疑是幸运的。


小编偶然发现了 R 语言的项目模板网站。从那之后,便一直提倡身边的人使用规范的项目结构。最近, DrivenData 发布了更为普适的 Cookiecutter Data Science 来构建项目结构。


而这些网站在项目构建方面的思路大致如下:


一个连贯且组织良好的结构,以便于人们协作;你的分析应当可复现,而你的项目结构可以满足这个需求;不应该从原始数据作为出发点开始你的项目,而应当假设原始数据不变,创建其他派生的文件。


简略的项目结构如下所示:


example_project/


├── data/ <- The original, immutable data dump.


├── figures/ <- Figures saved by notebooks and scripts.


├── notebooks/ <- Jupyter notebooks.


├── output/ <- Processed data, models, logs, etc.


├── exampleproject/ <- Python package with source code.


│ └── __init__.py <-- Make the folder a package.


└── process.py <-- Example module.


├── tests/ <- Tests for your Python package.


└── test_process.py <-- Tests for process.py.


├── environment.yml <- Virtual environment definition.


├── README.md <- README with info of the project.


└── setup.py <- Install and distribute your module.


你可以在这里看到相关实例。


项目通常遵循另一种结构:


原始数据不变,存储在 data/ 中;


数据处理和相关输出图分别存储在不同的文件夹下,例如: figures/ 和 output/ ;


笔记文件存储在 notebooks/ ;


项目信息撰写在 README.md 中;


项目代码放置在独立的文件夹下。


实际上,你选择什么样的项目结构并不重要,只要它能符合你的工作流程,你也能坚持使用它。你应该尝试去理解何为项目,从而选择满足要求的项目结构。


虚拟环境


项目之间应当相互独立,你肯定不希望新的项目打乱了之前的工作成果。我们可以通过把不同项目的文件存储在不同的文件夹下实现独立性,但是不同项目之间也应当使用不同的 Python 环境。在此我向大家推荐一个大数据技术交流圈: 658558542 突破技术瓶颈,提升思维能力


虚拟环境依赖于不同的项目而相互独立,避免了包的冲突问题。每个虚拟环境都安装了特定版本的不同包。虚拟环境一中安装了版本为 1.11 的 numpy 库和版本为 0.18 的 pandas 库,而虚拟环境二中则仅仅安装了版本为 0.17 的 pandas 库。作者选取适用于数据科学的 conda 管理虚拟环境(可在 这里 看到选择它的原因)。


下列命令可以创建一个使用 Python 3.5 的新的 conda 虚拟环境,命名为 example_project :


$ conda install --name example_project python=3.5


激活虚拟环境( Windows 系统下将 source 省去):


$ source activate example_project


之后便可以安装所需的包了:


$ conda install pandas numpy jupyter scikit-learn


当你在不同的项目间跳转时,可以运行 source deactivate 命令取消激活,并激活新的项目虚拟环境。


一旦你熟练使用 activate 和 deactivate 命令,就会发现虚拟环境是一个很轻巧的工具来保证 Python 环境的独立。通过导出环境定义文件(例如,所有安装的包名和版本号),你的项目就很容易得到复现了。如果你想查看更多细节,可在 Tim Hopper 的博文 中看到。


Git


每个项目都应该有自己的 Git 资源库。在每个项目创建一个资源库可以帮助你追踪每个项目的历史和解决在不同的项目间复杂的版本依赖问题。


又或者,你可以选择在一个资源库中包含多个项目,将所有内容存储在一个位置。这样做的缺点在于往往会因为合并冲突问题而告终(数据科学家通常并不能熟练使用 Git )。除了很多使用 Git 时出现的问题,这也会导致你的项目之间缺乏独立性。


创建 Git 资源库最简单的方法就是在你的 Git 远程主机托管服务(例如, Github 和 GitLab)上创建一个新的 Git 资源库,然后把它复制到本地:


$ git clone https://github.com/hgrif/example-project.git


你可以在这个空文件夹下构建你的项目结构。


如果你按照这个步骤执行,并准备在一个新文件夹下创建一些文件了。那么,你首先还需要在电脑上对 git 资源库进行初始化:


$ git init


然后在你的远程主机上创建一个新的 git 资源库,得到它的链接,并运行下列命令:


$ git remote add origin https://github.com/hgrif/example-project.git


该命令会添加链接为 https://github.com/hgrif/example-project.git 的远程资源库,并命令为 origin 。你可能需要把现有的 master 分支推送到 origin 上:


$ git push --set-upstream origin master


在你的项目目录下创建 .gitignore 文件可以避免将图或数据误填加进资源库中。作者一般使用 针对 Python 的 .gitignore 文件 ,并且在文件中加入 data/ 、 figures/ 和 output/ 文件夹,以便 Git 可以忽略它们。


既然 Git 已经设置好了,你就可以对核心内容使用 git add 和 git commit 命令了!


使用工具


使用一些工具可以帮助你摆脱那些重复性工作。


Python 中的 cookiecutter 包可根据模板自动创建项目文件夹。你可以使用现有的模板,例如, Cookiecutter Data Science 或者 作者的项目结构模板 ,或是创建你自己新的模板。


使用虚拟环境最好的方法就是选用支持它们的编辑器,比如: PyCharm 。你也可以使用 autoenv 或者 direnv 去激活虚拟环境,并设置环境的变量,如果你 cd 定位到一个工作目录下的话。


结论


对你的数据科学项目有一个良好的设置将会有助于同其他人协作,并且项目本身也会更容易复现。一个好的项目结构,一个虚拟环境和一个 git 资源库是每个数据科学项目的基石。


黑洞http:是企业级http服务提供商,大数据采集服务服务提供商,我们拥有高品质爬虫代理,遍布全国200+城市服务器,从容应对海量IP需求,我们从不吝惜产品质量,为确保您获得最佳体验,我们选择与国内最值得信赖的运营服务商进行深度合作,提供更快,更可靠的服务。


相关文章内容简介

1 IP代理:如何使用Python建立你的数据分析项目

现在有很多文章对复杂的机器学习算法和前沿的技术进行了展示,而这也促使数据科学家们慢慢变成了“社交控”( FOMO )。但数据分析的基本内容究竟是什么样的?你应当怎样安排项目结构?你需要使用什么样的工具?等等诸如此类的问题却鲜有人问津。本文将会对如何建立项目提供一些启发思路,以帮助你快速达到在数据科学领域能有所产出的境界。项目结构项目的结构总是为了契合人们的需求而得到不断完善,这会导致在一个团队中出现不同的项目构架。如果你或者团队中的其他人能够及时发现项目结构的重要性,并且这个概念在团队中得到推广,那么,你无疑是幸运的。小编偶然发现了 R 语言的项目模板网站。从那之后,便一直提倡身边的人使用规范的项目结构。最近, DrivenData 发布了更为普适的 Cookiecutter Data Science 来构建项目结构。而这些网站在项目构建方面的思路大致如下:一个连贯且组织良好的结构,以便于 [阅读全文]

热门标签

最新标签

推荐阅读

  1. 11

    2019-07

    自建机房的HTTP代理质量高吗?

    如今大数据时代,爬虫工作者已经成为互联网数据公司的关键性职位,要想有效突破反爬虫机制继续高频率抓取,使用一款优质的代理ip是必不可少的,现如今互联网上各种各样的HTTP代理层出不

  2. 29

    2019-10

    选择代理IP要着重注意这三点

    随着互联网入侵人们的工作和生活,现在很多公司都在网上开展业务,但由于网络的一些限制,代理IP这个工具就走入了人们的生活,使用代理IP可以解决各种IP限制为问题。随着需求增多,能提

  3. 16

    2019-07

    HTTP代理IP软件和如何使用代理IP软件

    衡量购买一个产品是否划算,最直接的办法就是核对支出和收入是否成正比。例如你购买一个商品花了100块,你通过这个商品盈利120,那你的购买就是划算的。如今互联网市场,HTTP代理IP多如牛

  4. 03

    2019-09

    代理ip重新登录账号解决ip限制

    不论是工作还是生活中使用网络,都有可能会出现被封的情况,例如注册帐号、发布信息等。当我们的IP被限制后,可以换IP后重新登录解决IP限制的问题。

  5. 04

    2019-07

    怎么找上网速度快的代理IP

    经常听到身边的程序员抱怨,使用的代理IP上网慢的要死,怎么找上网速度快的代理IP?小编特意试了下,百度搜索关键词出现的代理IP服务商可真不少,详细咨询后得知,这些代理IP大多是免费

  6. 19

    2019-06

    哪里可以找到动态代理ip来更换ip地址?

    有时有些用户可能会碰到一些需要换ip的,尤其是访问比较频繁的时候,那么大家是在哪里找代理ip来换ip呢