首页 > 其他 > 详细

hadoop3.1.0集群搭建

时间:2018-08-21 14:41:43      阅读:193      评论:0      收藏:0      [点我收藏+]

一.环境配置

  jdk1.8

  centos7

二.环境搭建

  1.安装jdk

    这个不用怎么说了吧,可以直接yum安装或者自己下载tar包。yum安装不用配置javahome,但是需要知道javahome位置,因为hadoop是java项目,运行需要jdk环境。通过yum安装查找javahome如下:

$whereis javac
javac: /usr/bin/javac /usr/share/man/man1/javac.1.gz

    可以看出结果是两个目录  用ll命令查看这两个目录详情

$ll /usr/bin/javac
lrwxrwxrwx. 1 root root 23 8月   7 14:03 /usr/bin/javac -> /etc/alternatives/javac

    这个是个软连接 指向/etc/alternatives/javac 继续对这个目录ll直至不在出现软连接为止

$ll /etc/alternatives/javac
lrwxrwxrwx. 1 root root 70 8月   7 14:03 /etc/alternatives/javac -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64/bin/javac

  $ ll /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64/bin/javac  
  -rwxr-xr-x. 1 root root 7424 7月 24 00:34 /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64/bin/javac

 

  $ ll /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64
  总用量 50780
  drwxr-xr-x. 2 root root 4096 8月 7 14:03 bin
  drwxr-xr-x. 10 root root 134 8月 7 14:03 demo
  drwxr-xr-x. 3 root root 132 8月 7 14:03 include
  drwxr-xr-x. 4 root root 28 8月 7 14:03 jre
  drwxr-xr-x. 3 root root 144 8月 7 14:03 lib
  drwxr-xr-x. 11 root root 162 8月 7 14:03 sample
  -rw-r--r--. 1 root root 51993150 7月 23 23:59 src.zip
  drwxr-xr-x. 2 root root 204 8月 7 14:03 tapset

    看出来这个文件夹就是jdk的安装路径了。

 

  2 centos7 linux用户之间免登陆

     a)分别在机器上创建相同的用户,设置密码

     b)在a机器上运行ssh-keygen命令生成公钥私钥

      技术分享图片

     c)将a中的公钥id_dsa.pub烤到b机器上,并查看是否有authorized_keys这个文件,如果有追加id_dsa.pub内容在authorized_keys文件中,没有则创建,并将它的权限修改为600(chmod 600 authorized_keys)

     d)b中ssh测试是否能,免密连接

     a连b亦是同理

   3.安装hadoop 

     a) 下载网站,选择合适的版本  http://mirror.bit.edu.cn/apache/hadoop/common/

      技术分享图片

      b)下载好以后解压 tar -zxvf 安装包

      c)配置 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 这四个文件hadoop安装包 etc/hadoop/目录下

 

        

 

configuration  [k?n,f?g?‘re??(?)n; -gj?-]  详细X
基本翻译
n. 配置;结构;外形
网络释义
CONFIGURATION FILE: 配置文件
Configuration Code: 配置代码

hadoop3.1.0集群搭建

原文:https://www.cnblogs.com/xingluo/p/9511005.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!