因为python2.7各种版本的问题,所以最终使用 python3.6
1、下载anaconda3
2、通过conda 创建虚拟环境
3、根据airflow 的官方文档 Quick Start, 部署demo
文档 URL: http://airflow.apache.org/start.html
-- 将数据存储从sqlite变成mysql
4、安装mysql
文档 URL: https://dinfratechsource.com/2018/11/10/how-to-install-latest-mysql-5-7-21-on-rhel-centos-7/
5、设置mysql
a.在my.cnf中的[mysqld]下,加入 explicit_defaults_for_timestamp=1
b.在mysql 中创建一个airflow的库
6、修改airflow 的airflow.cfg文件 参考官方文档的 Initializing a Database Backend
文档 URL: http://airflow.apache.org/howto/initialize-database.html
主要涉及2点:
a.修改 airflow.cfg 文件中的 executor, 将其值修改为 LocalExecutor
b.修改 airflow.cfg 文件中的 sql_alchemy_conn,
将其值修改为 mysql+pymysql://username:password@ip:port/airflow
7、启动airflow
原文:https://www.cnblogs.com/lt1548748657/p/11319302.html