首页 > 其他 > 详细

kettle基于时间戳增量更新

时间:2019-04-18 13:56:25      阅读:273      评论:0      收藏:0      [点我收藏+]

思路1:

1、提前建好ts时间表,设置两个字段分别为current_t和load_t,current用于比较原表中日期的上限,load_t则为上次加载的日期,几位原表中日期的下限。

1 create table ts(
2 current_t datetime,
3 load_t datetime
4 )
5 select * from ts

技术分享图片

 

 

2.1、新建转换1,获取当前系统日期,并赋值给变量${SYSDATA},然后更新到ts表中

在同一转换中通过表输入获取上次加载日期,并赋值给变量${CURRENT_T}

技术分享图片

技术分享图片

技术分享图片

 

 技术分享图片

技术分享图片

 

技术分享图片

 

 2.2抽取增量数据,并更新

技术分享图片

技术分享图片

 

 2.3更新加载日期

技术分享图片

 

 技术分享图片

3.1数据抽取作业

技术分享图片

 

 原始数据表

技术分享图片

同步更新表:

技术分享图片

时间表:

技术分享图片

运行作业:

 技术分享图片

技术分享图片

注:1、数据库中ts表日期设置为datatime格式,kettle在运行中转化为datatime2格式,在增量抽取过程中可能会报错,因此需要在获取load_t时设置转换为datatime格式;

思路2:

 首先通过select获取待更新表中max(时间戳),然后通过占位符引用改值获取原始表的中增量数据,最后通过插入更新的方式完成增量抽取。

 

kettle基于时间戳增量更新

原文:https://www.cnblogs.com/Dai-py/p/10729130.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!