首页 > 其他 > 详细

kafka集群搭建

时间:2020-11-17 11:24:23      阅读:27      评论:0      收藏:0      [点我收藏+]

0,用VMWare安装3台CentOS8虚拟机

 0.1,虚拟网络地址如下:

        hostname                      ipaddress                   subnet mask                          geteway    

    1、 CentOS-1      192.168.213.135    255.255.255.0      192.168.213.2

    2、 CentOS-2      192.168.213.136    255.255.255.0      192.168.213.2

    3、 CentOS-3      192.168.213.137    255.255.255.0      192.168.213.2

 0.2,修改host文件,将hostname添加到本机

    进入etc目录:cd /etc/

    使用vim命令修改host:vim hosts

    输入 i 进入编辑模式

    增加IP地址和hostname对应关系:    

    192.168.213.135 CentOS-1
    192.168.213.136 CentOS-2
    192.168.213.137 CentOS-3

    esc退出编辑模式,输入 :wq 保存更改

    技术分享图片

1,搭建zookeeper集群

  kafka是依赖于zookeeper的,单机模式下可以直接用kafka自带zookeeper(config/zookeeper.properties)启动,但是单机并不是kafka的价值所在,所以要搭建自己的zookeeper集群

  博客园上有篇文章写zookeeper集群搭建的文章,写的不错,可供参考:https://www.cnblogs.com/ysocean/p/9860529.html

  这里我们的zookeeper配置文件,增加的server.0、server.1、server.2分别为:

  server.0=192.168.213.135:2888:3888
  server.1=192.168.213.136:2888:3888
  server.2=192.168.213.137:2888:3888

  当然,由于上一步我们设置了hostname,这里的IP也可以直接写成hostname的形式:

  server.0=CentOS-1:2888:3888
  server.1=CentOS-2:2888:3888
  server.2=CentOS-3:2888:3888

  另外增加日志输出目录:dataLogDir=/tmp/zookeeper/log

   技术分享图片

 

 2,下载kafka安装包

  官网上下载最新kafka安装包,https://kafka.apache.org/downloads,使用tar命令解压,这里我们将/usr/lcoal 目录作为所有软件的安装目录,将kafka解压到这个目录

  解压命令行:tar -vxzf kafka_2.13-2.6.0.tgz

  之后我们将kafka配置到环境变量里:

  进入etc目录:cd /etc/

  vim命令编辑profile文件:vim profile

  export KAFKA_HOME=/usr/local/kafka_2.13-2.6.0
  export PATH=$PATH:$KAFKA_HOME/bin

  如图:

  技术分享图片

 

  :wq保存退出,然后使用source命令,使配置文件立即生效:source profile

  配置环境变量这一步不是必须的,如果不配置那么在每次启动kafka的时候,需要在kafka的bin目录中执行启动命令。  

3,修改server.properties配置文件

  进入解压的kafka的config目录:cd /usr/local/kafka_2.13-2.6.0/config/

  vim命令修改server.properties文件(这里的zookeeper.properties就用不到了):vim server.properties

  指定zookeeper集群地址:zookeeper.connect=CentOS-1:2181,CentOS-2:2181,CentOS-3:2181

  修改broker.id,值从1开始的正整数:broker.id=1(三台broker都要改,依次向后排列即可)

  技术分享图片

 

 技术分享图片

4,启动kafka

  使用官方给出的命令,稍作修改启动:

  nohup kafka-server-start.sh /usr/local/kafka_2.13-2.6.0/config/server.properties &

  因为前面设置了环境变量,所以可以在任意位置执行启动命令,但需要将server.properties的路径写为绝对路径

  这里我们将kafka作为后台启动了,使用的命令是nohup

  技术分享图片

 

  出现如上图的结果,说明启动无报错,图中6182是进程pid,我们还可以使用jps命令,查看是否有pid为6182的进程:jps

  技术分享图片   

  有pid为6182的进程,kafka已启动  

5,创建topic

  在任意一个broker上创建topic,使用官方命令稍作修改,如下

  kafka-topics.sh --create --zookeeper CentOS-1,CentOS-2,CentOS-3 --topic mytopic --partitions 3 --replication-factor 3

  这里我们使用指定的zookeeper集群:CentOS-1,CentOS-2,CentOS-3

  创建的topic名称为:mytopic

  主题分区数是3:partitions 3

  主题的副本数是3:replication-factor 3

  技术分享图片  

6,查看topic详情

  在任意一个broker上查看topic,使用官方命令稍作修改,如下

  kafka-topics.sh --describe --zookeeper CentOS-1,CentOS-2,CentOS-3 --topic mytopic

 技术分享图片

 

kafka集群搭建

原文:https://www.cnblogs.com/huyueping/p/13992735.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!