首页 > 系统服务 > 详细

大数据学习02_Linux集群搭建

时间:2020-08-25 23:00:54      阅读:116      评论:0      收藏:0      [点我收藏+]

前几天将大数据基础(集群搭建,Zookeeper,hdfs,zookeeper和HDFS的javaAPI操作,MapReduce)学习完了,今天用写博客的方式回顾一下学到的知识,先回顾集群的搭建:

    集群的搭建大致有以下几个步骤:

    1.在VMware虚拟网卡下配置好网关,IP和DNS,并且确保windows系统确认所有的关于VmWare的服务都已经启动。

技术分享图片

 

   2.复制虚拟机,并配置好虚拟机的内存。

   3.进行集群规划并且修改虚拟机的MAC地址、ip地址、主机名、域名映射。

        3.1每台虚拟机更改mac地址(命令): vim /etc/udev/rules.d/70-persistent-net.rules

             技术分享图片

 

 

        3.2每台虚拟机更改IP地址: vim /etc/sysconfig/network-scripts/ifcfg-eth0

技术分享图片

 

 

        3.3每台虚拟机修改对应主机名 vi /ect/sysconfig/network

        3.4每台虚拟机 设置ip和域名映射 vim /etc/hosts

技术分享图片

 

 

   4.虚拟机关闭防火墙和SELinux

      service iptables stop   #关闭防火墙

      chkconfig iptables off  #禁止开机启动

技术分享图片

 

    5.虚拟机免密码登录

       5.1三台机器生成公钥与私钥(命令:ssh-keygen -t rsa)

       5.2拷贝公钥到同一台机器(命令:ssh-copy-id 虚拟机名称1)

       5.3复制第一台机器的认证到其他机器(命令:scp /root/.ssh/authorized_keys 虚拟机名称2:/root/.ssh)

    6.三台机器时钟同步

        6.1## 安装 yum install -y ntp #

        6.2# 启动定时任务 crontab -e

        6.3将*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;输入到文件里面保存。大致意思是:每个一个小时就向阿里云发出请求校准时间。

以上就是搭建Linux集群的核心步骤。

希望对看到的小伙伴有所帮助。

还有一点我用的远程连接工具是finalshell

 

大数据学习02_Linux集群搭建

原文:https://www.cnblogs.com/g414056667/p/13562380.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!