CentOS搭建kafka集群

搭建步骤

• kafka单节点虚拟机克隆两台
• 配置zookeeper和kafka
• 启动测试

kafka单节点虚拟机克隆两台

克隆kafka单节点虚拟机两台，
得到三台已部署kafka单节点的虚拟机。
CentOS部署kafka单节点，详见此文章：https://jz.wohunlfry.top/2020/11/12/CentOS%E9%83%A8%E7%BD%B2kafka%E5%8D%95%E8%8A%82%E7%82%B9/

准备的三台虚拟机的IP：

172.16.1.190
172.16.1.191
172.16.1.192

配置zookeeper和kafka

配置zookeeper

进入zookeeper的conf目录
cd /opt/zookeeper/apache-zookeeper-3.6.1-bin/conf
修改zoo.cfg文件
vi zoo.cfg
clientPort=2181
server.1=172.16.1.190:2888:3888
server.2=172.16.1.191:2888:3888
server.3=172.16.1.192:2888:3888
三台虚拟机相同

172.16.1.190虚拟机
在zkdata的myid文件写入1
vi /opt/zookeeper/zkdata/myid
1

172.16.1.191虚拟机
在zkdata的myid文件写入2
vi /opt/zookeeper/zkdata/myid
2

172.16.1.192虚拟机
在zkdata的myid文件写入3
vi /opt/zookeeper/zkdata/myid
3

测试(三台)

zkServer.sh start
zkServer.sh status

配置kafka

进入kafka的config目录
cd /opt/kafka/kafka_2.12-2.5.0/config
修改server.properties文件
vi server.properties

172.16.1.190修改：
broker.id=1
listeners=PLAINTEXT://172.16.1.190:9092
log.retention.hours=168
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
zookeeper.connect=172.16.1.190:2181,172.16.1.191:2181,172.16.1.192:2181

172.16.1.191修改：
broker.id=2
listeners=PLAINTEXT://172.16.1.191:9092
log.retention.hours=168
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
zookeeper.connect=172.16.1.190:2181,172.16.1.191:2181,172.16.1.192:2181

172.16.1.192修改：
broker.id=3
listeners=PLAINTEXT://172.16.1.192:9092
log.retention.hours=168
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
zookeeper.connect=172.16.1.190:2181,172.16.1.191:2181,172.16.1.192:2181

测试(在leader节点测试)

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
jps -m

启动测试

启动三台虚拟机的zookeeper
启动leader节点虚拟机的kafka
创建话题topic验证

kafka-topics.sh --create --zookeeper 172.16.1.190:2181 --replication-factor 1 --partitions 1 --topic my-topic  
kafka-console-producer.sh --broker-list 172.16.1.190:9092 --topic my-topic  
kafka-console-consumer.sh --bootstrap-server 172.16.1.190:9092 --topic my-topic