1、概念
broker:分布式中的每台服务器即broker。
topic:每个消息类别放在一个topic。
partition:每个topic包含一个或多个partition。
producer:生产者
consumer:消费者
consumer group
2、存储格式
每个topic逻辑上就是一个queue，每个partition物理上对应一个文件夹。
每个日志文件都是一个log entrie序列，
message length ： 4 bytes (value: 1+4+n) "magic" value ： 1 byte crc校验码 ： 4 bytes payload （partition偏移量）： 64 bytes
这个log entrie并非一个文件，而是由多个segment，每个segmen以t第一条消息的offset命名并以“.kafka”为后缀，另外会有一个索引文件，它标明了每个segment下包含的log entry的offset范围。
原文：http://www.cnblogs.com/ng1991/p/7762825.html