首页 > 其他 > 详细

sqoop的merge和eval 工具

时间:2015-10-14 15:59:20      阅读:285      评论:0      收藏:0      [点我收藏+]

1、sqoop的merge的工具

sqoop merge 可以将hdfs上的两个文件进行合并,在increment import的过程中经常会用到,如incremenet import将数据导入到hdfs上时,第二次导入时,由于会出现文件已经存在的问题,第二次导入的hdfs的文件与之前的文件是不一样的名称,但是hdfs上有需要保持文件的唯一性,那么此时需要将更新的新的数据与老数据进行一个合并。具体的内容可以参考下面的图:

技术分享

2、sqoop的eval的工具

sqoop 的eval的工具是用来快速执行sql查询,并且将查询的结果输出到控制台。

技术分享

技术分享

例如:sqoop eval --connect jdbc:oracle:thin:@192.168.27.235:1521/ORCL --username DATACENTER -P --query "insert into TEMP2(id,name,lastmodified) values(10,‘liujiyu‘,TIMESTAMP ‘2015-10-14 14:40:46‘)"
注意:这里的TIMESTAMP是用来解析时间的字段

 

sqoop的merge和eval 工具

原文:http://www.cnblogs.com/ljy2013/p/4877426.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!