首页 > 其他 > 详细

【kafka】自定义分区规则

时间:2018-03-26 10:38:28      阅读:255      评论:0      收藏:0      [点我收藏+]
(一)生产者生成数据的数据,按自定义key做hashcode进行分区

1.Kafka中可以将Topic从物理上划分成一个或多个分区(Partition)

  每个分区在物理上对应一个文件夹,以"topicName_partitionIndex"方式命名

  文件夹下存储这个分区的所有消息(.log)索引(.index)文件

# 例如Topic:test0320,使用了3个分区,2个副本
186           187           188
----------    ----------    ----------
test0320-0    test0320-0    test0320-1
test0320-2    test0320-1    test0320-2

2.生产者在生产数据的时候,可以为每条消息自定义Key规则,这样消息被发送到broker时,会根据分区规则选择被存储到哪一个分区中

3.分区规则就是实现了kafka.producer.Partitioner接口的类












【kafka】自定义分区规则

原文:http://blog.51cto.com/13634837/2091067

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!