首页 > 其他 > 详细

数据仓库 Azkaban调度器

时间:2020-07-02 23:52:25      阅读:114      评论:0      收藏:0      [点我收藏+]

GMV指标获取的全调度流程

import.job文件,第一步,从mysql导入数据

type=command
do_date=${dt}
command=/home/atguigu/bin/sqoop_import.sh all ${do_date}

ods.job文件

type=command
do_date=${dt}
dependencies=import
command=/home/atguigu/bin/ods_db.sh ${do_date}

dwd.job文件

type=command
do_date=${dt}
dependencies=ods
command=/home/atguigu/bin/dwd_db.sh ${do_date}

dws.job文件

type=command
do_date=${dt}
dependencies=dwd
command=/home/atguigu/bin/dws_db_wide.sh ${do_date}

ads.job文件,本例以GMV指标获取的全调度流程为例,只执行一个ads_db_gmv.sh脚本,完整的数据,应该有多个ads层业务脚本并行执行。

type=command
do_date=${dt}
dependencies=dws
command=/home/atguigu/bin/ads_db_gmv.sh ${do_date}

export.job文件,最后一步,导出到mysql

type=command
dependencies=ads
command=/home/atguigu/bin/sqoop_export.sh ads_gmv_sum_day 

 

数据仓库 Azkaban调度器

原文:https://www.cnblogs.com/noyouth/p/13227871.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!