首页 > 其他 > 详细

sqoop的安装及其导入导出数据

时间:2020-06-05 09:44:18      阅读:54      评论:0      收藏:0      [点我收藏+]

一、安装sqoop的过程

1、解压缩:tar -zxvf ... -C ....

技术分享图片

2、配置sqoop-env.sh

 技术分享图片

 

 

 技术分享图片

技术分享图片

 

 

 

3、把驱动放到sqoop/lib下

命令:cp ...

技术分享图片

技术分享图片

4、启动mysql服务,以及sqoop与mysql的连接

 技术分享图片

 

 

 

5、启动mysql、查看数据库,创建test数据库

 技术分享图片

 

 

 

6、创建表格t_user,往表格中添加数据、查看表格内容。

 技术分享图片

 

 

 技术分享图片

 

 

 

7、创建一个sqoop/conf1 导入数据的说明。import:非hadoop导入到sqoop,export从hadoop导出到其他数据库,

 技术分享图片

 

技术分享图片

 

 

 

8、启动hadoop,yurn集群,执行sqoop/conf1配置文件

 技术分享图片

 

技术分享图片

 

 

 

9、hdfs 查看导入的数据

 技术分享图片

10、Mysql查询结果向hdfs导入数据,创建另一个表t_id_card

 技术分享图片

11、配置conf2文件,执行sqoop导入

 技术分享图片

 

 

 

12、执行conf2,合并两个表格,在hdfs下查看结果

 技术分享图片

13、把数据从hive导出到mysql中,启动hive在hive的shopping数据库中创建一个外部表,再创建一个副本表

 技术分享图片

 

 

 技术分享图片

查看副本表中的内容以及副本表的路径

 技术分享图片技术分享图片

 

 

 

14、mysql下创建shopping表,配置sqoop/conf3

 技术分享图片

 

 

 技术分享图片

15、执行conf3,MySQL下查看到数据从hive导入到mysql中了

 技术分享图片

 

 

 技术分享图片

 

 技术分享图片

16、将数据导入到hbase中。

启动hbase,创建usr_card表,配置conf4

 技术分享图片

 

 

 技术分享图片

执行conf4

 技术分享图片

 

 

 

hbase下可以查看到数据

 技术分享图片

 

sqoop的安装及其导入导出数据

原文:https://www.cnblogs.com/lyt010/p/13047490.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!