Message存储：
? ? Topic有多个Partition，一个Partition对应一个log，一个log有多个Segment。
? ? 每个Segment存储多个Message，Message的offset决定存储位置。
? ? Broker接收到Message会顺序追加到最后一个Segment中，当Segment的Message达到阈值时(大小或条数)，
? ? Segment会将Message写入磁盘中，只有flush到磁盘中的消息才能够被订阅和消费，当Segment达到一定大小时将不会再写入数据，
? ? Broker会生成新的Segment。
? ??
? ? 每个Partition在内存中对应一个index，记录每个Segment的第一个消息的offset。
?
Message处理：
? ? Producer生产Message并推（push）到Broker中，Consumer消费Message从Broker中拉（pull），并将消费过的消息的offset存储在Zookeeper中，在Consumer宕机重启时，能够从最近的offset开始继续消费Message。
? ? Producer将消息push到Broker上，Kafka采用的是at least once最少发送一次，发送失败将多次发生，达到阈值时，将不再发送；
? ? Consumer从Broker中pusll消息消费时，使用ack机制，并将消息的消费状态保持在zookeeper中。
? ? Kafka通过at least once和ack保证Message的事务性。
?
? ? Broker只负责消息存储，不负责消息消费状态维护，有Consumer主机维护。
? ? Broker对消息的删除，采用时间机制，默认保留7天，否则删除过期消息。
? ??
004.Kafka消息存储和处理
原文：http://nweiren.iteye.com/blog/2230046
