Airflow：Python 工作流管理利器

编程派 · 公众号 · Python · 2017-06-16 11:43

正文

请到「今天看啥」查看全文

安装 Airflow

为了方便，我这里单独创建了一个 airflow 的用户用于实验，同时使用这个用户的 home 目录 /home/ airflow 作为 airflow 的工作目录，如果你希望和我看到一样的效果，那么我希望是跟着我的步骤一起来：

这里只是进入 virtualenv 环境，接下来才是安装 airflow 的步骤，截止到我写博客的时候，airflow 的最新版本是 1.8，所以我这里就使用 1.8 的版本：

(venv) $ pip install airflow==1.8.0

经过一段稍长的等待时间之后，我们的 airflow 应该是安装成功了，在安装过程我们可以看到，airflow 依赖于大量的其他库，这个我们后续都会慢慢道来。现在是是否配置 airflow 的环境了。

第一个需要配置的就是 AIRFLOW_HOME 环境变量，这个是 airflow 工作的基础，后续的 DAG 和 Plugin 都将以此为基础展开，因为他们都是以 AIRFLOW_HOME 作为根目录进行查找。根据我们之前的描述，我们的 HOME 目录应该是 /home/ airflow ，所以可以这么设置: