首页 > 其他 > 详细

sqoop 从入门到精通

时间:2020-12-21 23:28:20      阅读:39      评论:0      收藏:0      [点我收藏+]

Sqoop简介

 

 

 

Sqoop原理

 

将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformatoutputformat进行定制。

 

Sqoop安装

 

安装Sqoop的前提是已经具备JavaHadoop的环境。

 

下载并解压

 

 

 

 

 

  1.  下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/
  2. 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中

  3.  解压sqoop安装包到指定目录,如:$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

修改配置文件

sqoop根目录下的conf目录中:

 

  1. 重命名配置文件:mv sqoop-env-template.sh sqoop-env.sh
  2. 修改配置文件:mv sqoop-env-template.sh sqoop-env.sh

  3. 修改配置文件:

    • sqoop-env.sh

       

    • export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2

       

    • export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2

       

    • export HIVE_HOME=/opt/module/hive

       

    • export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10

       

    • export ZOOCFGDIR=/opt/module/zookeeper-3.4.10

       

    • export HBASE_HOME=/opt/module/hbase

拷贝JDBC驱动

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

sqoop 从入门到精通

原文:https://www.cnblogs.com/linbo3168/p/14170180.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!