首页 > 其他 > 详细

hadoop包安装

时间:2017-11-21 00:48:22      阅读:361      评论:0      收藏:0      [点我收藏+]

Hadoop包安装 

创建hadoop账户

  1. 创建hadoop账户

    1 # useradd hadoop
    2 # passwd hadoop

     

  2. 将本地目录下的hadoop-2.6.0-cdh5.5.0.tar.gz,上传到虚拟机的/usr/local目录下,并且更改名字。
    1 tar -xzvf hadoop-2.6.0-cdh5.50
    2 mv hadoop-2.6.0-cdh5.50 hadoop
  3. 配置hadoop的环境变量,并创建/usr/local/data
    1 vim ~/.bashrc
    2 export HADOOP_HOME=/usr/local/hadoop
    3 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
    4 source ~/.bashrc
  4. 进入/usr/local/hadoop/etc/hadoop修改配置文件

    修改core-site.xml
    技术分享图片
    修改hdfs-site.xml
    技术分享图片
    修改mapred-site.xml
    技术分享图片
    修改yarn-site.xml
    技术分享图片
    修改hadoop-env.sh(默认情况下HADOOP_PID_DIR指定位置是/tmp目录,但是/tmp目录每次重启会做定时的更新,所以会不稳定,所以在完全分布式环境下需要进行修改
    1 export JAVA_HOME=/usr/local/default
    2 export HADOOP_PID_DIR=/disk1/dfs/tmp

     

    修改mapred-env.sh

    1 export MAPRED_PID_DIR=/disk1/dfs/tmp

     

    修改yarn-env.sh
    1 export YARN_PID_DIR=/disk1/dfs/tmp

     

    配置hadoop环境变量
    技术分享图片
    
    
  5. 格式化namenode
    1 # su - hadoop
    2 $ hadoop namenode -format

     

  6. 启动hdfs和yarn集群:
    1 start-all.sh(包括start-dfs.sh和start-yarn.sh)

     或者可以单独启动,集群规划参考之前的文档

    hadoop-daemon.sh start namenode/secondarynamenode/datanode
    yarn-daemon.sh start nodemanager/resourcemanager
    mr-jobhistory-daemon.sh start historyserver

     

    启动之后可以通过jps查看当前开启的服务以及netstat -tnlp查询端口信息(或者可以在windows下通过登录xxx:50070和xxx:8088查看)

hadoop包安装

原文:http://www.cnblogs.com/Try-kevin/p/7868539.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!