首页 > 其他 > 详细

datax初体验

时间:2019-09-02 23:30:29      阅读:125      评论:0      收藏:0      [点我收藏+]

一、什么是datax

  datax是阿里巴巴开源的一款离线数据同步工具、通过框架。支持在异构数据源之间同步数据。

  使用者可以轻松地的在结构化数据(mysql、sqlserver、oracle...)、非结构化数据(mongo、hive...)、结构与非结构之间同步数据。

二、使用datax

2.1 系统环境

  • Linux
  • JDK(1.8以上,推荐1.8)
  • Python(推荐Python2.6.X)
  • Apache Maven 3.x (Compile DataX)
  • git

 

2.2 部署

方法一、直接下载DataX工具包

  datax下载地址

下载后解压至本地某个目录,进入bin目录,即可运行同步作业:

cd  {YOUR_DATAX_HOME}/bin
python datax.py {YOUR_JOB.json}

自检脚本 

python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json

 正常打印日志,表示datax可以使用

技术分享图片

 

方法二、下载源码,自己编译

  datax源码下载地址

1)下载源码(没有git的同学自行百度)

git clone https://github.com/alibaba/DataX.git

 

2)通过maven打包(没有安装maven的同学自行百度)

cd {DataX_source_code_home}
mvn -U clean package assembly:assembly -Dmaven.test.skip=true

 

参考

1.datax github - https://github.com/alibaba/DataX

datax初体验

原文:https://www.cnblogs.com/chenzl44/p/11449302.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!