首页 > 其他 > 详细

RbbitMQ详解

时间:2020-04-06 22:40:33      阅读:90      评论:0      收藏:0      [点我收藏+]

高性能消息队列RabbitMQ

1.为什么要使用mq

    主要解决应用解耦,流量削峰,异步消息,实现高性能,可升缩,最终一致性的架构。

2.activeMq的通讯模式

    基于队列(点对点)与发布订阅(有多个消费者)

3.与其他mq 的区别

 技术分享图片

4.rabbitMq的协议

    AMQP 高级消息队列模式,是一个异步消息传递所使用的应用层协议规范, 此协议的客户端和中间件可以无视消息来源,不受客户端,消息中间件,不同开发语言环境等条件限制。

5.rabbitMQ windows版本安装

    1.下载并安装erlang,下载地址:http://www.erlang.org/download

    2.配置erlang环境变量信息

    新增环境变量ERLANG_HOME=erlang的安装地址

    将%ERLANG_HOME%\bin加入到path中

    3.下载并安装RabbitMQ,下载地址:   http://www.rabbitmq.com/download.html

    4. 使用

    RabbitMQ 管理平台地址 http://127.0.0.1:15672

    默认账号:guest/guest  用户可以自己创建新的账号

    Virtual Hosts:

    像mysql有数据库的概念并且可以指定用户对库和表等操作的权限。那 RabbitMQ呢?RabbitMQ也有类似的权限管理。在RabbitMQ中可以虚拟消息 服务器VirtualHost,每个VirtualHost相当月一个相对独立的RabbitMQ服  务器,每个VirtualHost之间是相互隔离的。exchange、queue、message不  能互通。

 

    5.windows访问

           RabbitMQ Server 安装后无法访问http://127.0.0.1:15672/的原因及解决办法

技术分享图片

 

 

   然后输入以下内容

          打开RabbitMQ节点

       rabbitmqctl start_app

       开启RabbitMQ管理模块的插件,并配置到RabbitMQ节点上

     rabbitmq-plugins enable rabbitmq_management

     关闭rabbitMQ节点

     rabbitmqctl stop

          输入完毕

     我们来访问

          http://127.0.0.1:15672/

6. rabbit virtualhost是什么

    相当与mysql里面可以建不同的库。

技术分享图片

 

 

7. mq的4种交换机

    1. fanout 扇型交换机:将消息路由给绑定到它身上的交换机。

    2. direct 直连交换机,根据消息所携带的routingKey将消息投递给指定的队列。

    3. topic 主题交换机,根据消息的路由值,将消息投递给指定的队列。

    4. header 头交换机,(用的不多)

8 mq的五种形式的队列

       https://www.rabbitmq.com/getstarted.html 队列模型官方文档

     1.点对点队列

技术分享图片

 

 

    ①一个生成者投递一个消费者,只能允许有一个消费者进行消费,如果是消费者集群,者进行均摊消费(取模算法)。(当集群的配置不一时,均摊不是很合理。)

    ②队列和消费者建立长连接

    ③自动应答与手动应答

       自动应答:不在乎消费者付这个消息是否处理成功,都会告诉队列删除 该消息。如果消息处理失败的情况下,实现自动补偿。

       手动应答:消息处理完业务逻辑,手动返回ack(通知)。告诉给队列服 务器是否删除消息

   

    ④推和取

    推:消费者启动后,建立长连接,一旦生成者向队列投递消息,会立马推送给消费者。

    取:生成者先投递消息到队列进行缓存,这时候消费者再去队列获取消息。

   

   

     2.工作队列模式

     3.发布订阅模式(常用)

       生成者投递消息到交换机,交换机根据不同的路由策略转发不同的队列服务器中。

       交换机是没有存储功能的,如果交换机没有绑定队列,则消息会丢失。

       以用户注册->发送邮件->发送短信  这个场景进行说明。应用解耦。

       实现原理:

 

   技术分享图片

 

 

      

     4.路由模式(常用)

技术分享图片

 

  一个队列可以添加多个routingKey

     5.通配符模式

技术分享图片

 

 

       和路由模式类似,只不过在队列绑定routingKey时可以使用通配符。

       符号#:匹配零个或者多个词lazy.# 可以匹配lazy.irs或者lazy.irs.cor

        符号*:只能匹配一个词lazy.* 可以匹配lazy.irs或者lazy.cor

   

9 消息确认机制

     1.如何确保消息一定消费成功。

       采用应答模式,分为自动应答和手动应答。

    自动应答:业务逻辑代码运行完自动提交。

    手动应答:业务代码运行完手动设置sck告诉队列服务器。

 

     2.如果rabbit宕机了消息会丢失吗?

    在创建队列的时候可以设置消息是否持久化。

 

   3. 事务模式:

       txSelect  将当前channel设置为transaction模式

    txCommit  提交当前事务

    txRollback  事务回滚

 

     4.springboot 确认机制,回调函数的实现

 

 

 

 

 

@Configuration

public class RabbitConfig {

 

    @Bean

    public RabbitTemplate createRabbitTemplate(ConnectionFactory connectionFactory){

        RabbitTemplate rabbitTemplate = new RabbitTemplate();

        rabbitTemplate.setConnectionFactory(connectionFactory);

        //设置开启Mandatory,才能触发回调函数,无论消息推送结果怎么样都强制调用回调函数

        rabbitTemplate.setMandatory(true);

 

        rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {

            @Override

            public void confirm(CorrelationData correlationData, boolean ack, String cause) {

                System.out.println("ConfirmCallback:     "+"相关数据:"+correlationData);

                System.out.println("ConfirmCallback:     "+"确认情况:"+ack);

                System.out.println("ConfirmCallback:     "+"原因:"+cause);

            }

        });

 

        rabbitTemplate.setReturnCallback(new RabbitTemplate.ReturnCallback() {

            @Override

            public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {

                System.out.println("ReturnCallback:     "+"消息:"+message);

                System.out.println("ReturnCallback:     "+"回应码:"+replyCode);

                System.out.println("ReturnCallback:     "+"回应信息:"+replyText);

                System.out.println("ReturnCallback:     "+"交换机:"+exchange);

                System.out.println("ReturnCallback:     "+"路由键:"+routingKey);

            }

        });

 

        return rabbitTemplate;

    }

 

}

 

server:

  port: 8080

spring:

  #给项目来个名字

  application:

    name: rabbitmq-provider

  rabbitmq:

  ####连接地址

    host: 127.0.0.1

   ####端口号  

    port: 5672

   ####账号

    username: guest

   ####密码 

    password: guest

   ### 地址

    virtual-host: /admin_host

    #消息确认配置项

    #确认消息已发送到交换机(Exchange)

    publisher-confirms: true

    #确认消息已发送到队列(Queue)

    publisher-returns: true

 

会产生四种情况:

①消息推送到server,但是在server里找不到交换机
②消息推送到server,找到交换机了,但是没找到队列
③消息推送到sever,交换机和队列啥都没找到
④消息推送成功

 

四种情况的返回结果:

2019-09-04 09:37:45.197 ERROR 8172 --- [ 127.0.0.1:5672] o.s.a.r.c.CachingConnectionFactory       : Channel shutdown: channel error; protocol method: #method<channel.close>(reply-code=404, reply-text=NOT_FOUND - no exchange ‘non-existent-exchange‘ in vhost ‘JCcccHost‘, class-id=60, method-id=40)

ConfirmCallback:     相关数据:null

ConfirmCallback:     确认情况:false

ConfirmCallback:     原因:channel error; protocol method: #method<channel.close>(reply-code=404, reply-text=NOT_FOUND - no exchange ‘non-existent-exchange‘ in vhost ‘JCcccHost‘, class-id=60, method-id=40)

 

ReturnCallback:     消息:(Body:‘{createTime=2019-09-04 09:48:01, messageId=563077d9-0a77-4c27-8794-ecfb183eac80, messageData=message: lonelyDirectExchange test message }‘ MessageProperties [headers={}, contentType=application/x-java-serialized-object, contentLength=0, receivedDeliveryMode=PERSISTENT, priority=0, deliveryTag=0])

ReturnCallback:     回应码:312

ReturnCallback:     回应信息:NO_ROUTE

ReturnCallback:     交换机:lonelyDirectExchange

ReturnCallback:     路由键:TestDirectRouting

 

ConfirmCallback:     相关数据:null

ConfirmCallback:     确认情况:true

ConfirmCallback:     原因:null

 

③ 这里返回和①的情况是一致的

 

ConfirmCallback:     相关数据:null

ConfirmCallback:     确认情况:true

ConfirmCallback:     原因:null

10. rabbitmq 中  connection 和 channel 的 理解

       1. connection 连接

    无论是consumer 和 provider 和broker 通讯都需要建立连接,这个连接就是一条TCP连接,也就是connection。

2. 思考既然connection 可以完成所有通信的工作,为什么还要引入信道?

    在高并发场景下如果有很多线程消费或者生产,这时需要频繁的销毁和建立TCP连接(建立TCP连接需要三次握手,销毁TCP连接需要四次握手),RabbitMQ采用在connection连接上建立虚拟的连接,也就是channel。 RabbitMQ 采用类似 NIO(Non-blocking I/O)的做法,选择 TCP 连接复用,不仅可以减少性能开销,同时也便于管理。

11 springboot 整合rabbitmq

       1. 报错

    inequivalent arg ‘durable‘ for exchange ‘delay_exchange‘ in vhost ‘/‘: received ‘false‘ but current is ‘true‘   

    一旦创建了队列和交换机,就不能修改其标志了。例如,如果创建了一个non-durable的队列,然后想把它改变成durable的,唯一的办法就是删除这个队列然后重现创建。因此,最好仔细检查创建的标志。

      

       2. 注意事项

    在消费端最好也要对队列,交换机,等做初始化并绑定,不然如果队列,交换机等在生产者还没有投递消息,没有创建队列和交换机的时候,消费者启动会报错。

 

12 rabbitMq 补偿机制

     1. rabbitmq 自动应答默认开启重试机制,

       如果消费端程序报错,则一直重试直到消费成功为止,可以通过配置文件修改重试次数,    重试时间。

 

       如果设置了手动应答,并且参数设置为以下参数,则此消费者的最大重试次数失效。

     channel.basicReject(deliveryTag, true);

server:

  port: 8081

spring:

  #给项目来个名字

  application:

    name: rabbitmq-provider

  rabbitmq:

  ####连接地址

    host: 127.0.0.1

    ####端口号  

    port: 5672

    ####账号

    username: guest

    ####密码 

    password: guest

    ### 地址

    virtual-host: /admin_host

    listener:

      simple:

        retry:

        ####开启消费者异常重试

          enabled: true

         ####最大重试次数

          max-attempts: 5

        multiplier: 5 #应用于前一重试间隔的乘法器。

 

        ####重试间隔次数

          initial-interval: 2000

        ####开启手动ack 

        acknowledge-mode: manual

 

    技术分享图片

 

 

     2.重试机制应该注意哪些问题。

       1.冥等性问题。避免重复处理。

       2.如何正确的选择重试机制。

       情况一:如果消费者是调用第三方接口超时,或者第三方接口异常等,这个时候可以开启重试机制,但需要注意重复处理的问题。

       情况二:如果消费者获取消息后,本身bug导致的异常,就没有必要重试了。

       针对第二种情况可以这么处理:

   

       如:商户注册成功需要发送短信和邮箱信息

       传统情况下 注册-发送短信-发送邮箱

      

       这里对这个流程进行解耦: 提高QPS(每秒处理的请求次数)

      

       1.写入会员表成功。

       2.写入消息记录表,并设置为未发送。

       3.查询消息记录表,发送消息到broker同时更新为发送中。

       4.假设消息接收成功,broker接收消息成功,并返回给生成者,这时候消息记录表更新为投递成功。

       5.假设消息接收失败,可能失败的地方有两个处:Borker接收消息和返回消息都可能发生网络问题或者其他状况,导致生产者接收不到返回值;

       6. 定时任务轮询,规定时间内没有发送成功消息再次按照步骤2进行投递,这个规定时间最多容忍2或者次查询轮询同一个条消息,如果依然接收不成功,那么则设置消息接收失败,这里可能是交换机或者队列绑定失败造成的,需要我们人工排查;

      

 

13 rabbitMq解决分布式事务

     1.mq 解决分布式事务的核心思想:

       ①确保生产者能够投递到mq服务器

       如果投递到mq服务器,通过confirm机制进行重试。

       ②消费者消费失败了,生产者是不需要回滚事务。

       解决办法:消费者采用手ack的方式,采用MQ进行补偿重试,注意MQ的冥等性问题。

       ③如果消费者消费成功,但是生产者confirm确认时失败。

      

 

RbbitMQ详解

原文:https://www.cnblogs.com/chenfei-java/p/12650033.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!