Windows 本地搭建 Airflow 开发环境

背景

因为 Airflow 无法在windows搭建开发环境导致开发过程比较麻烦。下面提供一个方法用来在windows环境中debug。以下方法的前提是在 Pycharm IDE中开发

第一步:本地开启 debug 端口

图1

图2

图3

图4

第二步:给远程服务器安装pydevd模块

图2中的断点代码拷贝到服务器后无法立即生效还会报错,因为缺少了模块。
在 pycharm 安装目录下找到 pycharm-debug.egg 文件,放到远程服务器python目录下我放到了site-package目录下,pycharm-debug-py3k.egg 提供给python3版本使用,我这边是2.7用第一个即可
图6

完成以上步骤可以在服务器python中执行下

1
>>> import pydevd

如果没有报错说明安装成功

第三步:开始debug

点击右上角小虫启动,console 中出现 waiting 后说明开始等待远程的debug请求了
图7

运行远程服务器的代码后,本地对应代码将进入对应代码段
图9

参考资料:

pycharm官网远程debug教程

Linux和Mac搭建开发环境资料:

https://github.com/apache/airflow/blob/master/LOCAL_VIRTUALENV.rst
https://github.com/apache/airflow/blob/master/BREEZE.rst#testing-and-debugging-in-breeze