首页 > 其他 > 详细

hadoop安装

时间:2018-01-18 18:44:10      阅读:226      评论:0      收藏:0      [点我收藏+]

1、环境变量 /etc/profile  ——java_home \ hadoop_home

     主机IP绑定 /etc/hosts

 

2、配置SSH无密码访问

进Master主机,创建ssh-key

执行:ssh-keygen -t rsa

此时在~/.ssh文件夹下生成两个文件 id_rsa 和 id_rsa.pub

为了使master对slaver能实现免密码登录,必须拷贝master的公匙到slaver。此操作在master完成。

cd ~/.ssh

scp ./id_rsa.pub Slaver:~/.ssh/id_master.pub

ssh ~/.ssh

cd ~/.ssh

cat id_master.pub >> authorized_keys

开始是没有authorized_keys这个文件的。

 

3、hadoop配置详解

core-site.xml 

  fs.defaultFS     NameNode URI

  io.file.buffer.size   SequenceFiles文件中,读写缓存size设定

hdfs-site.xml

  namenode 

    dfs.namenode.name.dir

    dfs.namenode.hosts

    dfs.blocksize

    dfs.namenode.handler.count  设置namenode线程,处理datanode RPC请求

  datanode

    dfs.datanode.data.dir

 

4、yarn-site.xml

  RM&NM

    yarn.acl.enable  true/false启用acl

    yarn.admin.acl  访问控制列表

  RM

    yarn.resourcemanager.address  客户端对RM提交作业

    yarn.resourcemanager.scheduler.address  AM通过RM主机访问host:port跟踪调度程序获取资源

    yarn.resourcemanager.resource-tracker.address  NM通过RM主机访问host:port 

 

5、hadoop shell命令

hdfs dfs -ls /  查看路径下文件(夹)信息

hdfs dfs -mkdir path  创建文件夹

hdfs dfs -put localfile hadooppath  上传文件

hdfs dfs -text/-cat hadoopfile  查看文件内容

 

 

      

     

 

hadoop安装

原文:https://www.cnblogs.com/ng1991/p/8311729.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!