本节概览:介绍了部署kafka的单点和集群两种模式。

1 部署zookeeper

Zookeeper部署

部署kafka

2.1 单节点

1、下载kafka_2.12-1.0.0.tgz

2、解压

3、在解压目录下,config/server.properties,内容如下

(1) 当需要指定多个zookeeper,如下

4、启动

启动显示如下信息

通过”-daemon”可以后台运行,如下(当然也可以通过nohup来后台运行)

5、验证

(1)创建主题

(2)查看主题

(3)往主题发送消息

(4)从主题上查看消息

2.2 部署集群

部署集群,其实就是在每一个机器上都进行单点部署,只是server.properties文件中的broker.id不同。如配置三台机器的如下:

(1)节点1

(2)节点2

(3)节点3

3 管理kafka

3.1 主题相关操作

通过kafka-topics.sh来实现,具体操作如下:

1 创建主题–create

  •  –replication-factor  分区备份个数
  • –partions 指定分区个数
  • –topic 指定主题名字
  • –create 创建主题命令
  • –zookeeper 指定zookeeper的地址

2、增加分区–alter

如下增加分区到3

3、删除主题–delete

brokerdelete.topic.enable的属性需要设置为true,如果为false,则不支持删除主题操作。删除命令如下:

4、查看所有主题–list

这个命令指示列出所有topic的名字,如果查看topic详细信息,需要通过–describe

5、查看所有主题详细信息–describe

可以查看topic的分区情况,

  • partion:0,表示pation的id为0
  • leader:6,表示broker.id=6节点为leader
  • Replicas:6,1,2 表示当前partion在broker.id为6、1、2的节点

如果想要查看指定的主题,通过-topic firtsttopic参数

6、查看lag

方式1:sh kafka-consumer-offset-checker.sh –zookeeper 10.152.94.13:2181 –topic 83000281_profit_change –group group-ExchangeProfitConsumer

方式2:kafka-0.9之后,就不支持kafka.tools.ConsumerOffsetChecker了。可以使用如下命令:

15304999229860

3.2 消费者群组

通过kafka-consumer-group.sh来实现。

1、查看群组信息–list

可以通过–describe-group来查看一个分组详细信息

(全文完)

分类&标签