专栏名称: 编程派
Python程序员都在看的公众号,跟着编程派一起学习Python,看最新国外教程和资源!
目录
相关文章推荐
Python爱好者社区  ·  彻底崩塌!美国IT业裁员狂飙35% ·  昨天  
Python开发者  ·  今年IT就业市场的风向已经很明显了。。。 ·  2 天前  
Python开发者  ·  GitHub 第 10 ... ·  2 天前  
Python爱好者社区  ·  python必备手册 ·  5 天前  
51好读  ›  专栏  ›  编程派

Airflow:Python 工作流管理利器

编程派  · 公众号  · Python  · 2017-06-16 11:43

正文

请到「今天看啥」查看全文


安装 Airflow

为了方便,我这里单独创建了一个 airflow 的用户用于实验,同时使用这个用户的 home 目录 /home/ airflow 作为 airflow 的工作目录,如果你希望和我看到一样的效果,那么我希望是跟着我的步骤一起来:

这里只是进入 virtualenv 环境,接下来才是安装 airflow 的步骤,截止到我写博客的时候,airflow 的最新版本是 1.8,所以我这里就使用 1.8 的版本:

  1. (venv) $ pip install airflow==1.8.0

经过一段稍长的等待时间之后,我们的 airflow 应该是安装成功了,在安装过程我们可以看到,airflow 依赖于大量的其他库,这个我们后续都会慢慢道来。现在是是否配置 airflow 的环境了。

第一个需要配置的就是 AIRFLOW_HOME 环境变量,这个是 airflow 工作的基础,后续的 DAG 和 Plugin 都将以此为基础展开,因为他们都是以 AIRFLOW_HOME 作为根目录进行查找。根据我们之前的描述,我们的 HOME 目录应该是 /home/ airflow ,所以可以这么设置:

哈哈,到这里我们可以说一个最简单的配置就算是完成了,来看点有用的吧,尝试一下输入 airflow version







请到「今天看啥」查看全文