linux上安装kafka

安装版本：0.9.0

安装机器：所有

安装过程：

1.使用hadoop账户，通过tar -zxvf命令将kafka-${version}.tar.gz解压缩至目的安装目录,并设置软连接。

# su hadoop

$ cd /opt/software

$ tar -zxvf kafka-${version}.tar.gz -C /opt/hadoop

$ cd /opt/hadoop/

$ ln -s /opt/hadoop/kafka-${version}   /opt/hadoop/kafka

2.修改server.properties配置文件。

$ cd /opt/hadoop/kafka/config

$ vim server.properties

在server.properties文件中添加如下配置：

broker.id=1        

log.retention.hours=1

zookeeper.connect=baseline01:2181,baseline02:2181,baseline03:2181/kafka_0_8_2_1

host.name=baseline01

注意：这里用了kafka_0_8_2_1 后面再用到指令的时候要带上，否则会报错。

3.创建logs目录：

mkdir /opt/hadoop/kafka/logs

4.配置kafka运行的环境变量。

$ vim  /etc/profile

export KAFKA_HOME=/opt/hadoop/kafka

export PATH=$KAFKA_HOME/bin:$PATH

配置成功后，执行source /etc/profile使配置生效。

5.将安装包从baseline01服务器复制到baseline02、baseline03两台机器，并配置环境变量：

$ scp -r /opt/hadoop/kafka_${version}  hadoop@baseline02:/opt/hadoop

$ scp -r /opt/hadoop/kafka_${version}  hadoop@baseline03:/opt/hadoop

在baseline02和baseline03上分别执行ln -s /opt/hadoop/kafka_${version}  /opt/hadoop/kafka

在baseline02和baseline03上分别步骤4配置kafka运行的环境变量

并修改server.properties配置文件中broker.id（baseline02为2,baseline03为3），host.name（baseline02为baseline02,baseline03为baseline03）

6.在三台机器上分别执行Kafka启动命令：

$ nohup kafka-server-start.sh $KAFKA_HOME/config/server.properties &

查看服务是否开启成功

$ ps -ef | grep kafka

如果进程存在，则表示Kafka已经启动

7.测试Kafka的生产者和消费者：

1.创建topic(${topicName}为自定义的topic的名称）

$ kafka-topics.sh --create --zookeeper baseline01:2181,baseline02:2181,baseline03:2181/kafka_0_8_2_1 --replication-factor 2 --partitions 1 --topic ${topicName}

注意：复制指令的时候不能多或者少空格，否则会报错，不易察觉。这个地方一定要带kafka_0_8_2_1,否则报错。

查看topics列表

$ kafka-topics.sh --list --zookeeper baseline01:2181,baseline02:2181,baseline03:2181/kafka_0_8_2_1

如果发现存在${topicName}自定义的topic名称则表示创建成功

在baseline01上启动生产者producer(${topicName}为自定义的topic的名称）

$ kafka-console-producer.sh --broker-list baseline01:9092,baseline02:9092, baseline03:9092/kafka_0_8_2_1  --topic ${topicName}

重新打开终端在baseline01上启动消费者

$ kafka-console-consumer.sh --zookeeper ${producer_ip}:2181/kafka_0_8_2_1  --topic    ${topicName} --from-beginning

在生产者机器上输入一条信息如: this is a comment（随意输入）

在消费者机器上观察是否能接收到此信息,若接收到说明成功.

linux上安装kafka

原文：http://www.cnblogs.com/wyl9527/p/6395389.html