首页 > 其他 > 详细

(05)kafka以及消息系统的基本介绍

时间:2020-02-04 14:21:24      阅读:67      评论:0      收藏:0      [点我收藏+]

  1、Kafka简介

  Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础。之后贡献给Apache基金会成为Apache的一个顶级项目。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。

  2、举例说明消息系统

  什么是消息系统,下面以12306网站和电商网站举例说明。

 技术分享图片

   12306网站或者电商网站要把消息发送给用户,无论是以短信方式、邮件方式或者其他方式,都会通过某种介质来完成,这种介质就是消息系统。发送消息的网站是生产者,生产者把消息发送给消息系统,消息系统通过自己的服务总线选择发送方式,最终发送给用户。消费消息的某种方式即为消费者。Kafka对应图中的消息系统,Kafka中的Broker就是服务总线。

  3、消息队列分类:

  (1)点对点(Queue)

  消息的生产者将消息发送到queue中,然后消息的消费者从queue中取出消息并且消费,消息被消费后,queue中不再存储,所以消息的消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但对于一个消息而言,只有一个消费者可以消费

  (2)发布与订阅(Topic)

  消息生产者(发布)将消息发布到topic中,同时有多个消息消费者(订阅)消费该消息。和点对点方式不同,发布到topic的消息会被所有订阅者消费。Kafka处理的是Topic类型的消息

技术分享图片

   注意:点对点的方式中可以有多个消费者,但是一个消息只能被一个消费者消费。发布与订阅中,消费存在每一个主题中,每个主题中的消息可能被一个或者多个消费者消费。

  4、Kafka作用

  监测活动数据,如网站用户相关行为数据(PV,UV等);监测运营数据,如核心系统性能指标数据(CPU利用率,磁盘利用率,IO使用率等)

  这些数据的特点:数据不可变,数据量庞大,需实时处理。

  

(05)kafka以及消息系统的基本介绍

原文:https://www.cnblogs.com/javasl/p/12184690.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!