环境准备

集群IP:

192.168.9.135

192.168.9.136

192.168.9.137

软件包:

安装步骤

1、解压kafka程序包

tar -zxvf kafka_2.13-3.0.0.tgz,解压后mv到/usr/local目录下

  1. 进去kafka文件夹的config目录下,并编辑server.properties

  2. 完整内容如下:

  3. broker.id=0

  4. listeners=PLAINTEXT://192.168.9.135:9092

  5. num.network.threads=3

  6. num.io.threads=8

  7. socket.send.buffer.bytes=102400

  8. socket.receive.buffer.bytes=102400

  9. socket.request.max.bytes=104857600

  10. log.dirs=/usr/local/kafka_2.13-2.6.0/logs

  11. num.partitions=1

  12. num.recovery.threads.per.data.dir=1

  13. offsets.topic.replication.factor=1

  14. transaction.state.log.replication.factor=1

  15. transaction.state.log.min.isr=1

  16. log.retention.hours=168

  17. log.segment.bytes=1073741824

  18. log.retention.check.interval.ms=300000

  19. zookeeper.connect=192.168.9.128:2181,192.168.9.129:2181,192.168.9.130:2181

  20. zookeeper.connection.timeout.ms=18000

  21. group.initial.rebalance.delay.ms=0

  22. 修改要点:

修改broker.id=num,集群kafka的num都需要是独一无二的,相当于id不可重复(例如,broker.id=0,broker=1等等,你有几个kafka就这样累积下去不要出现重复就行

修改listeners = PLAINTEXT://your.host.name:9092 中的ip为当前kafka所在的服务器的ip

修改一下日志文件的存储位置(位置放在你已存在的目录下,不一定要跟我这个一致)

修改zookeeper集群的连接地址为你自己的zookeeper集群地址

启动kafka服务

修改完成之后,保存退出,进入到kafka的bin目录下,执行以下命令来启动kafka

sh kafka-server-start.sh ../config/server.properties

按照步骤来执行,一般不会出错,如果出现错误,可能是zk集群地址不对,或者是broker.id的值没有修改导致出现3台重复的broker,

这里只给出kafka集群中一个kafka的配置步骤,其他的kafka搭建过程和这个是一样的,重复的步骤就不多写了,没什么区别,只需要修改listeners = PLAINTEXT://your.host.name:9092和broker.id即可,其他一样,不管集群有几个kafka,都是一样的配置

sh kafka-server-start.sh -daemon ../config/server.properties

验证

sh kafka-console-producer.sh --broker-list 192.168.9.135:9092 --topic xzx

sh kafka-console-consumer.sh --bootstrap-server 192.168.9.135:9092 --topic xzx --from-beginning

举报/反馈

侃侃互联网技术

30获赞 77粉丝
专注互联网技术和原创,欢迎技术交流!
关注
0
0
收藏
分享