cd /opt目录下:mkdir insytall software test other
/opt/install 上传用
/opt/software 安装用(解压后的)
/opt/other 其他软件
/opt/test 测试
······hadoop的下载地址:hadoop.apache.org
将JDK和Hadoop上传到install中(rz上传,如果没有该命令,先要安装lrzsz用于上传)
解压JDK:tar -zxvf jdk-8u144-linux-x64.tar.gz
重命名JDK:mv jdk1.8.0_144/ jdk1.8
将解压后的文件移动到/opt/software中:mv jdk1.8 ../software/
将JDK配置到环境变量中去:vim /etc/profile
要让修改后的配置文件生效:source /etc/profile (为了重新加载某个配置文件)
验证是否安装成功:javac -version 或 java -version 或 echo $PATH
解压hadoop:tar -zxvf hadoop-2.7.7.tar.gz
将解压后的文件移动到/opt/software中:mv hadoop-2.7.7 ../software/
将Hadoop配置到环境变量中去:vim /etc/profile
要让修改后的配置文件生效:source /etc/profile
验证:echo $PATH
19 <configuration> 20 <property> 21 <name>fs.defaultFS</name> 22 <value>hdfs://hdp01:9000</value> #hdp01是主机名 23 </property> 24 <property> 25 <name>hadoop.temp.dir</name> 26 <value>/opt/software/hadoop-2.7.7/tmp</value> 27 </property> 28 </configuration>
19 <configuration> 20 <property> 21 <name>dfs.replication</name> 22 <value>1</value> 23 </property> 24 </configuration>
19 <configuration> 20 <property> 21 <name>mapreduce.framework.name</name> 22 <value>yarn</value> 23 </property> 24 </configuration>
15 <configuration> 16 <property> 17 <name>yarn.resourcemanager.hostname</name> 18 <value>hdp01</value> #hdp01是主机名 19 </property> 20 <property> 21 <name>yarn.nodemanager.aux-services</name> 22 <value>mapreduce_shuffle</value> 23 </property> 24 </configuration>
hdp01
slaves是一个普通的文件,只需要加上一个主机名即可 【前提必须是要先做好主机和IP的映射】
hadoop namenode -format(因为配置了环境变量,所有可以在任何地方使用)
出现如下即表示格式化成功
ssh-keygen 先生成一个公钥
ssh-copy-id hdp01 将公钥拷贝给自己
start-all.sh 开启服务
stop-all.sh 关闭服务
如何证明是否启动成功:jps【java/bin里面的命令 会检测当前的进程中哪些是java进程】
NameNode web工程 端口号:50070
DataNode web工程 端口号:50075
SecondaryNameNode web工程 端口号:50090
ResourceManager web工程 端口号:8088
NodeManager
原文:https://www.cnblogs.com/IT_CH/p/12336594.html