2020-9-5 19:48

伪分布式

Linux准备

更改主机名

hostnamectl set-hostname master

配置hosts

vim /etc/hosts
192.168.1.2 master

ssh免密登录

ssh-keygen #生成ssh密钥
ssh-copy-id master #添加密钥

关闭防火墙

systemctl stop firewalld #停止服务
systemctl disable firewalld #禁止启动

安装配置jdk

tar -xzvf #解压
vim /etc/profile #配置环境变量
    export JAVA_HOME = /usr/software/java
    export PATH = $JAVA_HOME/bin $PATH
source /etc/profile #使配置生效

安装配置Hadoop

解压文件

tar -xzvf

配置运行环境

#依次修改hadoop/etc/目录下的：
hadoop-env.sh
mapred-env.sh
yarn-env.sh
#添加JAVA_HOME

修改配置文件

core-site.xml

<configuration>
    <!--临时文件夹的地址-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/software/hadoop/data</value>
    </property>
    <!--hdfs的地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <!--指定hdfs副本的数量-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--指定namenode的地址-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/software/hadoop/data/name</value>
    </property>
    <!--指定datanode的地址-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/software/hadoop/data/data</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    
    <property>
        <name>yarn.resourcamanger.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2020-9-5 19:48

伪分布式

Linux准备

更改主机名

hostnamectl set-hostname master

配置hosts

vim /etc/hosts
192.168.1.2 master

ssh免密登录

ssh-keygen #生成ssh密钥
ssh-copy-id master #添加密钥

关闭防火墙

systemctl stop firewalld #停止服务
systemctl disable firewalld #禁止启动

安装配置jdk

tar -xzvf #解压
vim /etc/profile #配置环境变量
    export JAVA_HOME = /usr/software/java
    export PATH = $JAVA_HOME/bin $PATH
source /etc/profile #使配置生效

安装配置Hadoop

解压文件

tar -xzvf

配置运行环境

#依次修改hadoop/etc/目录下的：
hadoop-env.sh
mapred-env.sh
yarn-env.sh
#添加JAVA_HOME

修改配置文件

core-site.xml

<configuration>
    <!--临时文件夹的地址-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/software/hadoop/data</value>
    </property>
    <!--hdfs的地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <!--指定hdfs副本的数量-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--指定namenode的地址-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/software/hadoop/data/name</value>
    </property>
    <!--指定datanode的地址-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/software/hadoop/data/data</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    
    <property>
        <name>yarn.resourcamanger.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

#### ssh免密登录

```bash
ssh-keygen #生成ssh密钥
ssh-copy-id master #添加密钥

关闭防火墙

systemctl stop firewalld #停止服务
systemctl disable firewalld #禁止启动

安装配置jdk

tar -xzvf #解压
vim /etc/profile #配置环境变量
    export JAVA_HOME = /usr/software/java
    export PATH = $JAVA_HOME/bin $PATH
source /etc/profile #使配置生效

安装配置Hadoop

解压文件

tar -xzvf

配置运行环境

#依次修改hadoop/etc/目录下的：
hadoop-env.sh
mapred-env.sh
yarn-env.sh
#添加JAVA_HOME

修改配置文件

core-site.xml

<configuration>
    <!--临时文件夹的地址-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/software/hadoop/data</value>
    </property>
    <!--hdfs的地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <!--指定hdfs副本的数量-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--指定namenode的地址-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/software/hadoop/data/name</value>
    </property>
    <!--指定datanode的地址-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/software/hadoop/data/data</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    
    <property>
        <name>yarn.resourcamanger.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

Hadoop伪分布式平台搭建

原文：https://www.cnblogs.com/handsomeplus/p/13622233.html