首页 > 其他 > 详细

01 . 消息队列之(Kafka+ZooKeeper)

时间:2020-05-13 21:29:17      阅读:51      评论:0      收藏:0      [点我收藏+]

消息队列简介

什么是消息队列?

首先,我们来看看什么是消息队列,维基百科里的解释翻译过来如下:

队列提供了一种异步通信协议,这意味着消息的发送者和接受者不需要同时与消息保持联系,发送者发送的消息会存储在队列中,直到接受者拿到他.

一般我们把消息的发送者称为生产者,消息的接收者称为消费者;注意定义中的哪两个字‘异步‘

通常生产者的生产速度和消费者的消费速度是不相等的; 如果两个程序始终保持同步沟通,那势必有一方存在空等时间;

如果两个程序持续运行的话,消费者的平均速一定要大于生产者,不然队列堆积越来越多;
当然,如果消费者没有时效性需求的话,也可以吧消息堆积在队列中,集中消费;

为何使用消息队列?

1.解耦

在项目启动之初来预测将来项目会碰到什么需求,是极其困难的。消息系统在处理过程中间插入了一个隐含的,基于数据的接口层,两边的处理过程都要事先这一接口.这允许你独立的扩展或修改两边的处理过程,只要确保他们遵守相同的接口约束.

2.冗余

有些情况下,处理数据的过程会失败。除非数据被持久化,否则将造成丢失。消息队列把数据进行持久化直到他们已经被完全处理,通过这一方式规避了数据丢失风险,许多消息队列所采用的的‘插入 - 获取 - 删除‘范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕.

3.扩展性

因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可。不需要改变代码,不需要调节参数,扩展就像调大电力按钮一样简单.

4.灵活性 & 峰值处理能力

在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量并不常见;
如果为以处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷请求完全崩溃.

5.可恢复性

系统的一部分组件时效时,不会影响到整个系统,消息队列降低了进程间的耦合度,所以即使一个消息处理的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理.

6.顺序保证

在大多数使用场景下,数据处理的顺序都很重要,大部分消息队列本来就是排序的,并且保证数据会按按照特定的顺序来处理,kafka保证了一个Partition内的消息的有序性.

7缓冲

在任何重要的系统中,都会需要不同处理时间的元素。例如,加载一张图片比应用过滤器花费更少的时间。消息队列通过一个缓冲层来帮助任务最高效率的执行—— 写入队列的处理会尽可能的快速。该缓冲有助于控制和优化数据流经过系统的速度.

8.异步通信

很多时候,用户不想也不需要立即处理消息,消息队列提供了异步处理机制,允许用户把一个消息放入队列,但不立即处理他,想向队列放入多少消息就放多少,然后在需要的时候再去处理他们.

9.削峰

通过在应用前端以消息队列接收请求来达到削峰的目的。请求超过队列长度直接不处理重定向至错误页面
流量削峰是消息队列中常用场景,一般在秒杀或团抢活动中使用广泛
应用场景: 秒杀活动,一般会因为流量过大,导致流量剧增,应用挂掉,为解决这个问题,一般需要在应用前端加入消息队列

消息队列在秒杀活动中的应用?
1. 可以控制活动的人数
2. 可以缓解短时间内高流量压垮应用
3. 用户的请求,服务器接收后,首先写入消息队列,假如消息队列长度超过最大数量,则直接抛弃用户请求或跳转到错误页面
4. 秒杀业务根据消息队列中的请求信息,再做后续处理

# 提速: 消息队列应用下,消息生产应用只管生产,不需要等待消费完就能处理其他事情,实际上起到了提速的作用.

常用Message Queue对比?

RabbitMQ

RabbitMQ是使用Erlang编写的一个开源的消息队列,本身支持很多的协议: AMQP,XMPP,SMTP,STOMP,正因为如此,他非常轻量级,她更适合于企业级的开发,同时实现了Broker构架,这意味着在发送客户端时先在中心队列排队。对路由,负载均衡或者数据持久化都有很好的支持.

Redis

Redis是一个基于Key-Value对的NoSQL数据库,开发维护很活跃,虽然他是一个Key-Value数据库存储系统,但他本身支持MQ功能,所以完全可以做一个轻量级的队列服务来使用。对于RabbitMQ和Redis的入队和出队操作,各执行100万次,每10万次记录一次执行时间。测试数据分为128Bytes,512Bytes,1k和10k四个不同大小的数据。实验证明:

入队时,当数据比较小时Redis的性能高于RabbitMQ,如果数据超过了10k,Redis慢的让人无法忍受;
出队时,无论数据大小,Redis都表现非常好的性能,而RabbitMQ的出队性能则远远低于Reids.

ZeroMQ

ZeroMQ号称最快的消息队列系统,尤其针对大吞吐量的需求场景。ZeroMQ能够实现RabbitMQ不擅长的高级/复杂的队列,但是开发人员需要自己组合多种技术框架,技术上复杂度是对这MQ能够应用成功的挑战。 ZeroMQ具有一个独特的非中间件的模式,你不需要安装和运行一个消息服务器或中间件,因为你的应用程序将扮演这个角色。你只需要简单的引用ZeroMQ程序库,可以使用NuGet安装,然后你就可以愉快的在应用程序之间发送消息了。

但是ZeroMQ仅提供非持久性的队列,也就是说如果宕机,数据将会丢失,其中,Twitter的Storm 0.9.0以前的版本中默认使用ZeroMQ作为数据流的传输(Storm从0.9版本开始同时支持ZeroMQ和Netty作为传输模块).

ActiveMQ

ActiveMQ是Apache下的一个子项目,类似于ZeroMQ,它能够以代理人和点对点的技术实现队列。同时类似于RabbitMQ,他少量代码就可以高效实现高级应用场景

Kafka/Jafka

Kafka是Apache下的一个子项目,是一个高性能跨语言分布式/订阅消息队列系统,而Jafka是在Kafka之上孵化而来的,是一个Kafka的一个升级版,具有以下特性:

  1. 快速持久化,可以再O(1)的系统的开销下进行消息持久化;
  2. 高吞吐,完全的分布式系统,Broker,Producer,Consumer都原生自动支持分布式,自动实现负载均衡.
  3. 支持Hadoop数据并行加载,对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决
  4. 方案,Kafka通过Hadoop的并行加载机制统一了在线和离线的消息处理.
    Apache Kafka相对于ActiveMQ是一个非常轻量级的消息系统,除了性能非常好之外,还是一个工作良好的分布式系统.

01 . 消息队列之(Kafka+ZooKeeper)

原文:https://www.cnblogs.com/you-men/p/12884779.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!