环境准备
集群IP:
192.168.9.135
192.168.9.136
192.168.9.137
软件包:
安装步骤
1、解压kafka程序包
tar -zxvf kafka_2.13-3.0.0.tgz,解压后mv到/usr/local目录下
进去kafka文件夹的config目录下,并编辑server.properties
完整内容如下:
broker.id=0
listeners=PLAINTEXT://192.168.9.135:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/usr/local/kafka_2.13-2.6.0/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.9.128:2181,192.168.9.129:2181,192.168.9.130:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
修改要点:
修改broker.id=num,集群kafka的num都需要是独一无二的,相当于id不可重复(例如,broker.id=0,broker=1等等,你有几个kafka就这样累积下去不要出现重复就行
修改listeners = PLAINTEXT://your.host.name:9092 中的ip为当前kafka所在的服务器的ip
修改一下日志文件的存储位置(位置放在你已存在的目录下,不一定要跟我这个一致)
修改zookeeper集群的连接地址为你自己的zookeeper集群地址
启动kafka服务
修改完成之后,保存退出,进入到kafka的bin目录下,执行以下命令来启动kafka
sh kafka-server-start.sh ../config/server.properties
按照步骤来执行,一般不会出错,如果出现错误,可能是zk集群地址不对,或者是broker.id的值没有修改导致出现3台重复的broker,
这里只给出kafka集群中一个kafka的配置步骤,其他的kafka搭建过程和这个是一样的,重复的步骤就不多写了,没什么区别,只需要修改listeners = PLAINTEXT://your.host.name:9092和broker.id即可,其他一样,不管集群有几个kafka,都是一样的配置
sh kafka-server-start.sh -daemon ../config/server.properties
验证
sh kafka-console-producer.sh --broker-list 192.168.9.135:9092 --topic xzx
sh kafka-console-consumer.sh --bootstrap-server 192.168.9.135:9092 --topic xzx --from-beginning