kafka完全分布式搭建

Kafka集群环境搭建步骤

1、环境准备：在win7系统  内存（8G）的硬件环境下，搭建3台centOS虚拟机

1.1给机器配置主机名（ip需要固定）

执行命令：vim /etc/hosts，配置主机名如下：

172.16.60.208 kafka01

172.16.60.211 kafka02

172.16.60.217 kafka03

1.2 Xshell远程命令连接上该虚拟机

1.3 为每台虚拟机配置用户/密码登录

2、配置jdk

2.1指定目录下解压jdk压缩包    /usr/software/

2.2 配置jdk环境变量

   JAVA_HOME=/usr/software/jdk1.8.0_131

PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin

3、下载安装scala

3.1指定目录下解压jdk压缩包    /usr/software/

3.2配置scala环境变量

         #SCALA

export SCALA_HOME=/usr/software/scala-2.12.3

export PATH=$PATH:$SCALA_HOME/bin:$SCALA_HOME/sbin

4、下载安装zookeeper

4.1配置zookeeper环境变量

#ZOOKEEPER

export ZOOKEEPER_HOME=/usr/software/zookeeper-3.4.10

export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/sbin

4.2在/usr/software/zookeeper-3.4.10下执行如下命令：

mkdir tmp

echo “1”>myid #其他相应修改为2 ，3

4.3在/usr/software/zookeeper-3.4.10-alpha/conf目录下执行命令：

cp zoo_sample.cfg  zoo.cfg

vim zoo.cfg

在文件中修改如下参数：

dataDir=/usr/software/zookeeper-3.4.10/tmp

clientPort=2181

server.1=kafka01:2888:3888

server.2=kafka02:2888:3888

server.3=kafka03:2888:3888

4.4将配置好的zookeeper整个文件夹发送到其他虚拟机

  scp –r zookeeper-3.4.10 kafka02:/usr/software

      scp –r zookeeper-3.4.10 kafka03:/usr/software

5、下载安装kafka

5.1配置kafka环境

#KAFKA

export KAFKA_HOME=/usr/software/kafka_2.10-0.10.2.1

export PATH=$PATH:$KAFKA_HOME/bin:$KAFKA_HOME/sbin

5.2在/usr/software/kafka_2.10-0.10.2.1/config目录下，修改server.properties，在文件中修改如下参数：

      broker.id=0 #当前server编号，其他相应修改

      port=9092 #使用的端口

      log.dirs= /usr/software/kafka_2.12-0.11.0.1/tmp/kafka-logs #日志存储目录

      zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181

5.3将配置好的kafka整个文件夹发送到其他broker

  scp –r kafka_2.10-0.10.2.1 kafka02:/usr/software

  scp –r kafka_2.10-0.10.2.1 kafka03:/usr/software

5.4先启动整个zookeeper集群：在各个机器上执行zkServer.sh start，出现下图所示表示zookeeper启动成功

再启动整个kafka集群：在各个机器上执行bin/kafka-server-start.sh config/server.properties &，出现下图所示表示kafka启动成功

kafka完全分布式搭建

原文：http://www.cnblogs.com/runnerjack/p/7846744.html