首页 > 其他 > 详细

Kafka学习笔记(五、Kafka偏移量)

时间:2020-01-26 13:50:25      阅读:78      评论:0      收藏:0      [点我收藏+]

目录:

  • MetaData信息
  • Kafka偏移量

MetaData信息

客户端如何知道该往哪个节点发送请求来获取数据:通过元数据。

元数据(MetaData)是什么:topic、topic的分区、每个分区有哪些副本、哪个副本是leader等信息。

一般情况下客户端会缓存元数据,并直接往目标broker上发送生产和获取请求,并且客户端还会定时的刷新自己的元数据

技术分享图片

Kafka偏移量

说偏移量之前先介绍下Kafka GUI(Kafka graphical user interface),因官方没有提供,所以采用使用较多的工具。

  • Kafka Tool地址: http://www.kafkatool.com/download.html
  • Kafka Manager地址: https://github.com/yahoo/kafka-manager
  • KafkaOffsetMonitor地址: https://github.com/Morningstar/kafka-offset-monitor

KafkaOffsetMonitor配置:

KafkaOffsetMonitor启动脚本(如: kafkaoffset_monitor.sh,记得给脚本赋执行权限)

java -cp KafkaOffsetMonitor-assembly 0.46-SNAPSHOT.jar          com.quantifind.kafka.offsetapp.OffsetGetterWeb--offsetStorage kafka --kafkaBrokers ip1:port1,ip2:port2,ip3:port3 --zk ip1:port1,ip2:port2,ip3:port3 --port 8088--refresh 10.seconds --retain 2.days
  • --offsetStorage:指明offset信息由kafka来保存,而非zookeeper
  • --refresh:多少秒刷新一次信息
  • --retain:信息保存到数据库多少天

Kafka学习笔记(五、Kafka偏移量)

原文:https://www.cnblogs.com/bzfsdr/p/12221623.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!