首页 > 其他 > 详细

sqoop-介绍及安装

时间:2020-05-25 14:35:02      阅读:91      评论:0      收藏:0      [点我收藏+]

1.sqoop概述

  sqoop是Apache旗下一款hadoop和关系数据库服务器之间传送数据的工具;

  核心的功能:

    导入,迁入(从关系型数据库-->hdfs hive hbase)

    导出,迁出(从hdfs hive hbase-->关系型数据库)

  导入数据:mysql,Oracle导入数据到hadoop的HDFS,hive,hbase等数据存储系统;

  导出数据:从hadoop的文件系统中导出数据到关系型数据库mysql等;sqoop的本质还是一个命令行工具,和HDFS,hive相比,并没有什么高深的理论;

    技术分享图片

2.工作机制

  将导入或导出命令翻译成MapReduce程序来实现,在翻译出MapReduce中主要是对inputfromat和outputformat进行定制;

3.安装

  3.1 前提概述

    将来sqoop在使用的时候有可能会跟那些系统或者组件打交道?

      HDFS,MapReduce,yarn,zookeeper,hive,hbase,mysql;

    如果你的sqoop工具将来要进行hive或者hbase等等的系统与mysql实现交互,你安装的sqoop软件的节点一定要包含以上你要使用的集群或者软件系统的安装包;

  3.2 软件下载

    下载地址:http://mirrors.hust.edu.cn/apache/

    技术分享图片

  3.3 安装步骤

    3.3.1 上传并解压文件

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 

    3.3.2 重命名sqoop目录

mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

    3.3.3 进入到sqoop的conf目录下,将sqoop-env-template.sh文件更名为sqoop-env.sh文件

mv sqoop-env-template.sh sqoop-env.sh

    3.3.4 修改sqoop-env.sh文件

vim sqoop-env.sh 
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/module/hadoop

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/module/hadoop

#set the path to where bin/hbase is available
export HBASE_HOME=/opt/module/hbase

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/module/hive

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/module/zookeeper/conf

    3.3.5 将mysql数据库连接的驱动包复制到sqoop安装的lib目录下

      技术分享图片

    3.3.6 配置系统环境变量    

vim /etc/profile
export SQOOP_HOME=/opt/module/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
source /etc/profile    #刷新文件

    3.3.7 验证是否安装成功

sqoop-version

      技术分享图片

 

sqoop-介绍及安装

原文:https://www.cnblogs.com/wnwn/p/12956492.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!