Kafka集群的搭建

　　Kafka的集群搭建大致分为三部分，首先要安装zookeeper的环境变量分发给其他虚拟机（启动Kafka的时候会在zookeeper系统中注册信息）。然后安装配置Kafka的环境变量分发给其他虚拟机并分别启动。最后启动测试

　　第一，安装配置zookeeper

　　　　1，上传zookeeper安装包到指定目标目录（/export/softwares/）

 　　　　2.解压zookeeper安装包到指定目录，执行以下命令：tar -zxvf /export/softwares/zookeeper-3.4.6.tar.gz -C /export/servers/

　　　　3.配置zookeeper的环境变量　　执行以下命令：cd /export/servers/zookeeper-3.4.6/conf 切换到该目录 

　　　　4.将zoo_sample.cfg复制一份更名为zoo.cfg

　　　　5.启动编译vim zoo.cfg

　　　　6.添加以下配置信息：

dataDir=/home/hadoop/data/zk_data（如果该目录文件没有创建可以先行创建）
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

　　　　7.保存退出以后输入以下命令：echo"1">data/zk_data myid

 　　　   8.执行以下命令将安装包复制给其他虚拟机：scp -r /export/servers/zookeeper-3.4.6 Slave1:/export/servers/

　　　　　　　　　　　　　　　　　　　　　　　　scp -r /export/servers/zookeeper-3.4.6 Slave2:/export/servers/

　　　　9.添加环境变量   在跟目录执行以下操作：vim .bash_profile  

添加以下信息：export ZOOKEEPER_HOME=/export/servers/zookeeper-3.4.6

　　　　　　　$ZOOKEEPER_HOME/bin:

　　　　10.在跟目录执行以下命令将配置文件复制给其他虚拟机：scp .bash_profile Slave1:~/

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　scp .bash_profile Slave2:~/

　　　　11.分别在各个虚拟机的根目录执行以下命令刷新配置信息：source .bash_profile 

　　　　12.在Slave1与Slave2中执行以下命令：cd /home/hadoop/data/zk_data/ 切换到该目录中，分别执行以下命令echo "2">data/zk_data/myid与echo "3">data/zk_data/myid

　　　　13.各个虚拟机执行以下命令启动zookeeper：切换到目标目录：cd /export/servers/zookeeper-3.4.6/bin  启动：./zkServer.sh start

第二，安装配置Kafka

　　　　1.上传Kafka安装包到指定目录（/export/softwares/）

　　　　2.解压Kafka安装包到指定目录，执行以下命令 ：tar -zxvf /export/softwares/kafka_2.11-0.10.1.0.tgz -C /export/servers/

　　　　3.配置Kafka的核心配置文件

　　　　　　执行以下命令：cd /export/servers/kafka_2.11-0.10.1.0/config  到该目录，执行编译：vim server.properties  

修改添加以下配置信息：

broker.id=0   （其他虚拟机稍后改为broker.id=1 与broker.id=2 ）
log.dirs=~/data/kafka-logs
zookeeper.connect=master:2181,slave1:2181,slave2:2181

　　　　4.保存退出以后复制发送给其他虚拟机并修改broker.id=？信息      执行命令：scp -r /export/servers/kafka_2.11-0.10.1.0 Slave1:/export/servers/

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 scp -r /export/servers/kafka_2.11-0.10.1.0 Slave2:/export/servers/

　　　　5.添加环境变量   在跟目录执行以下操作：vim .bash_profile   

添加以下信息：export KAFKA_HOME=/export/servers/kafka_2.11-0.10.1.0

　　　　　　　$KAFKA_HOME/bin:

　　　　　　5.在跟目录执行以下命令将配置文件复制给其他虚拟机：scp .bash_profile Slave1:~/

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　scp .bash_profile Slave2:~/

　　　　　　6.分别在各个虚拟机的根目录执行以下命令刷新配置信息：source .bash_profile

第三，启动测试

　　　　1.启动验证（分别在master，slave1，slave2启动）

　　　　2.执行以下命令切换到bin目录中：/export/servers/kafka_2.11-0.10.1.0/bin

　　　　3.执行启动命令：./kafka-server-start.sh ../config/server.properties 

Kafka集群的搭建

原文：https://www.cnblogs.com/canbing/p/14124300.html