hadoop -01 配置

SSH免密设置

1.进入~/.ssh目录下运行ssh-keygen -t rsa生成id_rsa(私钥)和id_rsa.pub(公钥)
2.将公钥拷贝到你想免密的机子的authorized_keys文件内
3.然后修改authorized_keys和用户￥HOME权限

Hadoop部署

配置：

1.hadoop，java下载好解压到~/app目录下
2.将Hadoop安装目录添加到系统环境变量中（~/.bash_profile）
    vi ~/.bashrc
    export JAVA_HOME=/home/leeyanan/app/hadoop-3.2.1
    export JAVA_HOME=/home/leeyanan/app/jdk
    export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
    执行 source ~/.bash_prefile生效环境变量
3.配置Hadoop环境的配置文件hadoop-env.sh
    设置JDK的安装路径
    export JAVA_HOME=/home/leeyanan/app/jdk
4.hadoop核心配置文件core-site.xml
    配置NameNOde的主机名和端口号
    <property>
    <name>fs.defaultFS</name> 
    <value>hdfs://hadoop01:8020</value> 
    </property> 
    配置序列缓冲区大小
    <property>
    <name>io.file.buffer.size</name> 
    <value>131072</value> 
    </property> 
    配置临时数据储存目录
    <property>
    <name>hadoop.tmp.dir</name> 
    <value>/home/leeyanan/app/hadoop-3.2.1/tmp</value> 
    </property>
5.HDFS配置文件hdfs-site.xml
    设置hdfs文件副本数
    <property> 
    <name>dfs.replication</name> 
    <value>1</value> 
    </property> 
    块数据大小
    <property> 
    <name>dfs.blocksize</name> 
    <value>134217728</value> 
    </property> 
    设置hdfs元数据文件存放路径
    <property> 
    <name>dfs.namenode.name.dir</name> 
    <value>file:/home/leeyanan/app/hadoop-3.2.1/data/namenode</value> 
    </property> 
    设置hdfs数据储存位置
    <property> 
    <name>dfs.datanode.data.dir</name> 
    <value>/home/leeyanan/app/hadoop-3.2.1/data/datanode</value> 
    </property> 
    hdfs的检测目录
    <property> 
    <name>fs.checkpoint.dirr</name> 
    <value>/home/leeyanan/app/hadoop-3.2.1/data/datanode</value> 
    </property> 
    设置他用户行操作时会提醒没有权限的问
    <property> 
    <name>dfs.permissions</name> 
    <value>false</value> 
    </property> 
6.Mapreduce配置文件mapred-site.xml
    设置mapreduce执行框架
    <property> 
    <name>mapreduce.framework.name</name>
    <value>yarn</value> 
    </property>
    <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
7.yarn配置文件yarn-site.xml
    """yarn的作用就是把每个用户要做什么就把客户分配给相应的模块，
        同时对各个节点实时检测健康状态"""
    <property>
    #yarn资源管理主机名字
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
    </property>
?
    <property>
    # yarn资源管理内部通信地址
    <name>yarn.resourcemanager.address</name>
    <value>hadoop01:80032</value>
    </property>
?
    <property>
    # yarn 资源管理 调度器内部通讯地址
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop01:8030</value>
    </property>
?
    <property>
    #资源管理资源追踪内部通讯地址
    <name>yarn.resourcemanager.resource-tracker.addresss</name>
    <value>hadoop01:8031</value>
    </property>
?
    <property>
    #资源管理 后端管理内部通讯地址
    <name>yarn.resourcemanager.admin.addresss</name>
    <value>hadoop01:8033</value>
    </property>
?
    <property>
    #资源管理 webapp内部通讯地址
    <name>yarn.resourcemanager.webapp.addresss</name>
    <value>hadoop01:8034</value>
    </property>
?
    <property>
    # 节点管理 服务名称 值为mp随机分配服务
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
?

测试

运行wordcount测试
hadoop jar hadoop-mapreduce-examples-3.2.1.jar wordcount /input /output1
输出一个新文件在目录下

hadoop -01 配置

原文：https://www.cnblogs.com/zhixingweitianxia/p/11715350.html