首页 > 其他 > 详细

Hadoop 2.7.2 + Sqoop2 安装使用

时间:2019-01-19 10:45:06      阅读:151      评论:0      收藏:0      [点我收藏+]

1. 安装环境

本次使用两个节点,一个作为master,一个作为slave。两个虚拟机使用virtualbox。操作系统为ubuntu 64bit server(Ubuntu Server 14.04.1 LTS).

2. 开始架设

先安装一台虚拟机,然后复制,修改hostname和mac address就可以直接作为slave使用。

a. 下载ubuntu iso文件。安装操作系统,大概花费20分钟。

b. 创建用户和组。

c. 安装java。

d. 下载解压缩hadoop。

e. 配置ssh。

f. 修改hadoop配置文件slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。

g. 下载sqoop2并解压。

h. 修改sqoop2配置文件中的两项。

i. 复制虚拟机并修改hostname,mac地址。

3. 运行环境

在master机器上运行。

a. hdfs namenode -format

b. start-dfs.sh

c. start-yarn.sh

d. mr-jobhistory-daemon.sh start historyserver

e. sqoop2-server start

4. 使用sqoop2导入sql server数据到hdfs文件系统

a. 运行sqoop2-shell进入交互式客户端。

  > set option --name verbose --value true

  > show connector

  > create link -c 1

  > create link -c 3

  > show link --all

  > create job -f 1 -t 2

  > start job -j 1 -s

 

Hadoop 2.7.2 + Sqoop2 安装使用

原文:https://www.cnblogs.com/iotcloud/p/5234738.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!