首页 > Web开发 > 详细

datax-web踩坑记录

时间:2021-01-18 16:32:27      阅读:759      评论:0      收藏:0      [点我收藏+]

实习期间接触了两种ETL工具:kettle、datax
1、datax-web的安装 (跟着文档一步步来就好了)
https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md
2、data-web可视化界面的使用
重点记录一下时间增量的设置
i、构建reader时
updateTime >= ${lastTime} and updateTime <${currentTime}
ii、构建writer时

iii、配置json
writer
"writeMode": "update"
iv、编辑任务
设置辅助参数为: 时间自增
时间增量格式 : 时间戳
-DlastTime=‘%s‘ -DcurrentTime=‘%s‘
v、(后补)
路由策略:轮询
阻塞处理:单机串行

datax-web踩坑记录

原文:https://www.cnblogs.com/1811-zh/p/14292506.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!