一、消息队列概述

1.1、消息队列由来

在运维场景中，我们经常会存在如下场景：一旦出现S1异常，C1将因为S1的影响而异常（C为客户端，s为服务端）

当然可以通过添加多个S的方式，实现高可用。但这样会变得难以维护，每增加一个S所有的C都要进行调整，增加了耦合性（软件开发强调高内聚低耦合）

可以通过在C和S之间添加负载均衡来达到降低耦合度的效果，但是在流量高峰期C1收到的压力，仍然会传递到后端S。如果S处理处理不过来可能就会导致异常（一般情况下前端的接收请求的速度是较快的，但是后端处理请求的速录会较慢）。因此消息队列就出来了（太阳底下没有新鲜事儿，难搞的我们就搞个中间层来屏蔽底层的复杂或不足），于是就变成了这样：

1.2、常用消息队列

常见的消息队列：

rabbitMQ地址: https://github.com/rabbitmq

Kafka地址: https://github.com/apache/kafka

RocketMQ地址：https://github.com/apache/rocketmq/

这里只针对rocketmq做说明，其他消息队列类似可自行 google了解

1.3、消息中间件原理

生产者生产消息，消费者消费消息（需要先订阅消息）。消息队列负责异步解耦。

二、RocketMQ介绍

rocketmq的前身是metaq，当前已在apache安家。

2.1、组件

• Producer：消息的生产者
• Consumer：消息消费者
• Broker：暂存和处理消息
• NameServer：管理Broker，以及topic等信息
• Topic：区分消息的种类，逻辑分类；
• Tag：消息的标签，在topic的基础上进一步分类
• Message Queue：相当于是Topic的分区；用于并行发送和接收消息

namesrv:无状态服务，可集群部署，节点之间无数据同步
broker:分为master和slave，根据brokerid参数进行区分，0为master，大于或者等于0为slave。broker和namesrv建立长连接，定时注册topic和状态信息
producer:和namesrv建立长连接，定期从namesrv获取topic路由信息，并与master建立链接
consumer:和namesrv建立长连接，定期从namesrv获取topic路由信息，并与提供topci的master和slave建立长链接，并定时向master和slave发送心跳。consumer可以从slave或者master订阅消息

组件：

? broker会注册信息到namesrv，

2.1、消息发送(队列个数怎么调整？)

RocketMQ发送的消息会分布存储到4个队列中(可自行定义)，队列中数据是有序的。消费会轮询多个队列

三、安装

3.1、环境要求

64bit oS;64bit JDK 1.8+;memory 4G+;

下载地址：https://rocketmq.apache.org/dowloading/releases/

[root@master rocketmq]# ls -l #1、准备的安装包
-rw-r--r-- 1 root root 12536572 4月   4 2019 rocketmq-all-4.5.0-bin-release.zip
-rw-r--r-- 1 root root  3178509 4月   4 2019 rocketmq-all-4.5.0-source-release.zip
[root@master rocketmq]# unzip rocketmq-all-4.5.0-bin-release.zip  #2、解压
root@master rocketmq]# mv rocketmq-all-4.5.0-bin-release rocketmq	#3、重命名
[root@master rocketmq]# cd rocketmq
[root@master rocketmq]# ls
benchmark  bin  conf  lib  LICENSE  NOTICE  README.md
[root@master rocketmq]# mkdir logs store/{commitlog,consumequeue,index} -p  #默认会在root目录下创建logs目录，在tmp目录下创建，commitlog存储消息，consumequeue、index存储索引数据

config配置文件说明：

2m-2s-async: 2主2从异步
2m-2s-sync: 2主2从同步
2m-noslave: 2主

3.2、单机版安装

3.2.1、配置文件准备

[root@master conf]# cat single-broker.conf
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
# 集群名称
brokerClusterName=My-Cluster
#broker名称
brokerName=broker_01
#broekr的id，0表示master，>0为slave节点
brokerId=0
#namesrv地址,分号分隔
namesrvAddr=www.mt.com:9876
#在发送消息的时候，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic
autoCreateTopicEnable=true
#是否允许broker自动创建订阅组
autoCreateSubscriptionGroup=true
#broker监听端口号
listenPort=12121
#删除文件的时间点,默认凌晨4点
deleteWhen=04
#文件保留时间，默认48h
fileReservedTime=48
#commitlog文件默认大小,默认1G
mapedFileSizeCommitlog=1073741824
#ConsumeQueue每个文件默认存储多少条
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/rocketmq/rocketmq/store
#commitlog存储路径
storePathCommitLog=/opt/rocketmq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/opt/rocketmq/rocketmq/store/consumequeue
#消费索引存储路径
storePathIndex=/opt/rocketmq/rocketmq/store/index
#checkpoint文件存储路径
storeCheckpoint=/opt/rocketmq/rocketmq/store/checkpoint
#abort文件存储路径
abortFile=/opt/rocketmq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker的角色,ASYNC_MASTER,SYNC_MASTER,SLAVE
brokerRole=ASYNC_MASTER
#刷盘模式:ASYNC_FLUSH,SYNC_FLUSH;先写入磁盘(SYNC_FLUSH)还是先投递消息(ASYNC_FLUSH),不管SYNC还是ASYNC都要落盘
flushDiskType=ASYNC_FLUSH
#checkTranslationMessageEnable=false
#发消息线程池配置
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3.2.2、日志目录调整

根据需要调整日志路径
[root@master conf]# sed  -i ‘s#\${user\.home}#/opt/rocketmq/rocketmq#g‘  logback_namesrv.xml
[root@master conf]# sed  -i ‘s#\${user\.home}#/opt/rocketmq/rocketmq#g‘  logback_broker.xml

3.2.3、调整jvm配置

注意：配置够的就不需要了，这里主要是本地的虚拟机内存资源不够，因此调整JVM参数

修改runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

修改runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

3.2.4、服务启动

#1、namesrv启动
[root@master rocketmq]# nohup sh bin/mqnamesrv  &> /dev/null &
[root@master rocketmq]# netstat -tunlp |grep java  #默认监听端口9876
tcp6       0      0 :::9876                 :::*                    LISTEN      5544/java

#2、broker启动
[root@master rocketmq]# nohup sh bin/mqbroker -c ./conf/single-master.properties &> /dev/null &
[2] 5564
[root@master rocketmq]# netstat -tunlp |grep java
tcp6       0      0 :::9876                 :::*                    LISTEN      5544/java
tcp6       0      0 :::12119                :::*                    LISTEN      5571/java
tcp6       0      0 :::12121                :::*                    LISTEN      5571/java
tcp6       0      0 :::12122                :::*                    LISTEN      5571/java
[root@master rocketmq]#

3.2.5、控制台安装

由rocketmq-console为额外的插件

下载地址：https://github.com/apache/rocketmq-externals/master.zip

#1、修改配置application.properties
[root@master rocketmq-console]# vim src/main/resources/application.properties
server.address=0.0.0.0
server.port=8080

spring.application.name=rocketmq-console
spring.http.encoding.charset=UTF-8
spring.http.encoding.enabled=true
spring.http.encoding.force=true
logging.level.root=INFO
#日志文件路径，
logging.config=classpath:logback.xml
#需要修改nameserv的地址，或者在console启动后也可以修改
rocketmq.config.namesrvAddr=www.mt.com:9876 
rocketmq.config.isVIPChannel=
rocketmq.config.dataPath=/tmp/rocketmq-console/data
rocketmq.config.enableDashBoardCollect=true
rocketmq.config.msgTrackTopicName=
rocketmq.config.ticketKey=ticket

rocketmq.config.loginRequired=true

#2、修改日志文件路径
[root@master rocketmq-console]# sed -i  ‘s@\${user.home}@/opt/rocketmq/rocketmq@g‘ src/main/resources/logback.xml  #修改文件路径
[root@master rocketmq-console]# sed -i  ‘s@\${user.home}@/opt/rocketmq/rocketmq@g‘ src/test/resources/logback.xml


#3、配置用户账号和密码文件
4root@master rocketmqconsole]# cat src/main/resources/users.properties
# This file supports hot change, any change will be auto-reloaded without Console restarting.
# Format: a user per line, username=password[,N] #N is optional, 0 (Normal User); 1 (Admin)

# Define Admin
admin=admin123!,1

# Define Users
user1=user1
user2=user2

#4、安装
[root@master rocketmq-console]# mvn clean package -Dmaven.test.skip=true
[root@master rocketmq-console]# java -jar target/rocketmq-console-ng-2.0.0.jar --rocketmq.config.namesrvAddr=‘www.mt.com:9876‘  #在配置文件中已经指定namesrvAddr这里可以不指定

#5、控制台访问
http://192.168.206.128:8080

3.2.6、发送消息

# 1.设置环境变量
export NAMESRV_ADDR=www.mt.com:9876
# 2.使用安装包的Demo发送消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

3.2.7、接收消息

# 1.设置环境变量
export NAMESRV_ADDR=www.mt.com:9876
# 2.接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

3.3、集群版安装

3.3.1、集群分类

集群分为：

• 多master-noslave：在单个broker异常的情况下，异常broker上未被消费的数据在恢复之前是不可订阅

• 多master-多slave(sync)：主备之间会存在消息延迟(ms级)，master异常的情况下会丢失少量消息

• 多master-多slave(async)：采用双写模式(master和slave都写入成功，才返回成功)，在master宕机后当前版本无法正常切换

3.3.2、集群规划

注：所有的节点都要操作

# namerserver
[root@master rocketmq]# vim /etc/hosts  #追加如下内容，namesrv也可以有多个，这里只安装了一个
192.168.206.128 www.mt.com


[root@master rocketmq]# vim /etc/hosts #broker  #追加如下内容
192.168.206.128 www.broker00.com
192.168.206.128 www.broker01.com
192.168.206.129 www.broker10.com
192.168.206.129 www.broker11.com

注：第一个数字为机器(0为128，1为129)，第二个数字为主备(0为master，1为slave)，非必须，仅供参考

其中broker00和broker11互为主备，broker00为master，broker11为slave
其中broker01和broker10互为主备，broker10为master，broker01为slave

[root@master rocketmq]# mkdir -p  /opt/rocketmq/rocketmq/{broker00,broker01}/store/{commitlog,consumequeue,index,checkpoint,abort}   #在128上执行
[root@slave1 rocketmq]# mkdir -p \ /opt/rocketmq/rocketmq/{broker10,broker11}/store/{commitlog,consumequeue,index,checkpoint,abort}  #在129上执行

3.3.3、环境初始化

[root@slave1 ~]# yum install java-1.8.0-openjdk-devel -y
[root@slave1 ~]# cat /etc/profile.d/java.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64
export JAVA_BIN=$JAVA_HOME/bin:$JAVA_HOME/jre/bin
[root@slave1 ~]# source /etc/profile.d/java.sh
[root@slave1 ~]# setenforce 0
[root@slave1 ~]# iptables -F

#拷贝192.168.206.128上的内容到192.168.206.129
[root@master rocketmq]# scp -r /opt/rocketmq/* root@192.168.206.129:/opt/rocketmq/

[root@slave1 rocketmq]# cat bin/runbroker.sh  #JVM配置大小按照自己虚拟机的配置进行调整
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"
[root@slave1 rocketmq]# cat bin/runserver.sh  #JVM配置大小按照自己虚拟机的配置进行调整
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

3.3.4、配置文件

注意：日志和jvm调整参考单机版安装步骤，更多的参数可以从rocketmq-console->集群->配置中看到

3.3.4.1、broker00配置

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker1
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=www.mt.com:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=12121
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/rocketmq/rocketmq/store/broker00
#commitLog 存储路径
storePathCommitLog=/opt/rocketmq/rocketmq/store/broker00/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/rocketmq/rocketmq/store/broker00/consumequeue
#消息索引存储路径
storePathIndex=/opt/rocketmq/rocketmq/store/broker00/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/rocketmq/rocketmq/store/broker00/checkpoint
#abort 文件存储路径
abortFile=/opt/rocketmq/rocketmq/store/broker00/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#当前服务器的IP
brokerIP1=192.168.206.128
#供slave同步消息的地址
brokerIP2=192.168.206.128

3.3.4.2、broker01配置

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker2
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=www.mt.com:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=18080
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/rocketmq/rocketmq/store/broker01
#commitLog 存储路径
storePathCommitLog=/opt/rocketmq/rocketmq/store/broker01/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/rocketmq/rocketmq/store/broker01/consumequeue
#消息索引存储路径
storePathIndex=/opt/rocketmq/rocketmq/store/broker01/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/rocketmq/rocketmq/store/broker01/checkpoint
#abort 文件存储路径
abortFile=/opt/rocketmq/rocketmq/store/broker01/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#当前服务器的IP
brokerIP1=192.168.206.128
#供slave同步消息的地址
brokerIP2=192.168.206.128

3.3.4.3、broker10配置

brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker2
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=www.mt.com:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=12121
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
store/broker10PathRootDir=/opt/rocketmq/rocketmq/store/broker10
#commitLog 存储路径
store/broker10PathCommitLog=/opt/rocketmq/rocketmq/store/broker10/commitlog
#消费队列存储路径存储路径
store/broker10PathConsumeQueue=/opt/rocketmq/rocketmq/store/broker10/consumequeue
#消息索引存储路径
store/broker10PathIndex=/opt/rocketmq/rocketmq/store/broker10/index
#checkpoint 文件存储路径
store/broker10Checkpoint=/opt/rocketmq/rocketmq/store/broker10/checkpoint
#abort 文件存储路径
abortFile=/opt/rocketmq/rocketmq/store/broker10/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#当前服务器的IP
brokerIP1=192.168.206.129
#供slave同步消息的地址
brokerIP2=192.168.206.129

3.3.4.4、broker11配置

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker1
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=www.mt.com:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=18080
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/rocketmq/rocketmq/store/broker11
#commitLog 存储路径
storePathCommitLog=/opt/rocketmq/rocketmq/store/broker11/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/rocketmq/rocketmq/store/broker11/consumequeue
#消息索引存储路径
storePathIndex=/opt/rocketmq/rocketmq/store/broker11/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/rocketmq/rocketmq/store/broker11/checkpoint
#abort 文件存储路径
abortFile=/opt/rocketmq/rocketmq/store/broker11/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

#当前服务器的IP
brokerIP1=192.168.206.129
#供slave同步消息的地址
brokerIP2=192.168.206.129

3.3.5、服务启动

注意：此时namesrv配置和启动方式和单机版配置一样，不再单独说明

#1、在192.168.206.128上启动broker00和broker01
[root@master rocketmq]# nohup sh bin/mqbroker -c conf/2m-2s-sync/broker00.properties &> /dev/null &
[root@master rocketmq]# nohup sh bin/mqbroker -c conf/2m-2s-sync/broker01.properties &> /dev/null &

#2、在192.168.206.129上启动broker10和broker11
[root@slave1 rocketmq]# nohup sh bin/mqbroker -c conf/2m-2s-sync/broker10.properties &> /dev/null &
[root@slave1 rocketmq]# nohup sh bin/mqbroker -c conf/2m-2s-sync/broker11.properties &> /dev/null &

#3、控制台查看
http://192.168.206.128:8080/#/cluster  用户名/密码: admin/admin123!

3.3.6、日志检查

1、注意检查进程是否存在
2、检查/opt/rocketmq/rocketmq/logs/ 目录下所有日志插看是否有报错
3、控制台检查

四、运维

4.1、mqadmin命令

进入RocketMQ安装位置，在bin目录下执行./mqadmin {command} {args}

注意事项

• mqadmin 参数不带会输出所有的command
• 子命令可以通过-h获取帮助
• 如果既有Broker地址（-b）配置项又有clusterName（-c）配置项，则优先以Broker地址执行命令；如果不配置Broker地址，则对集群中所有主机执行命令

4.1.2、Topic

4.1.2、集群

4.1.3、Broker

4.1.4、消息

4.1.5、消费

4.1.6、连接

4.1.7、NameSrv

4.1.8、其他

4.2、mqadmin常用方法

4.2.1、mqadmin命令异常处理

[root@master rocketmq]# sh bin/mqadmin clusterlist
报错" unable to calculate a request signature. error=[10015:signature-failed] "
[root@master rocketmq]# cat bin/tools.sh  #修改
[root@master rocketmq]# cat /etc/profile.d/java.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64
export JAVA_BIN=$JAVA_HOME/bin:$JAVA_HOME/jre/bin
[root@master rocketmq]# source /etc/profile.d/java.sh

[root@master rocketmq]# cat /etc/profile.d/java.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64
export JAVA_BIN=$JAVA_HOME/bin:$JAVA_HOME/jre/bin
[root@master rocketmq]# sh bin/mqadmin -h
OpenJDK 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
这里的warning信息，可以在bin/tools.sh 中去掉这两个参数

4.2.2、mqadmin常用方法

1、调整topic分片数量
[root@master rocketmq]# sh bin/mqadmin topiclist -n www.mt.com:9876  #查看当前的tpoic
topic01
...
[root@master rocketmq]#
[root@master rocketmq]# sh bin/mqadmin updatetopic -t topic01 -c rocketmq-cluster -w 4 -r 4  -n www.mt.com:9876
create topic to 192.168.206.129:12121 success.
create topic to 192.168.206.128:12121 success.
TopicConfig [topicName=topic01, readQueueNums=4, writeQueueNums=4, perm=RW-, topicFilterType=SINGLE_TAG, topicSysFlag=0, order=false]


2、更新topic的权限 / 同upTopicPerm
[root@master rocketmq]# sh bin/mqadmin updatetopic -t topic01 -c rocketmq-cluster -p 6  -n www.mt.com:9876
create topic to 192.168.206.129:12121 success.
create topic to 192.168.206.128:12121 success.
TopicConfig [topicName=topic01, readQueueNums=8, writeQueueNums=8, perm=RW-, topicFilterType=SINGLE_TAG, topicSysFlag=0, order=false]，禁读的意思是禁止发送消息，禁写的意思是禁止消息写入

3、更新CID重试Topic的分片数量
[root@master rocketmq]# sh bin/mqadmin updatetopic -t topic01 -c rocketmq-cluster -p 6  -n www.mt.com:9876
create topic to 192.168.206.129:12121 success.
create topic to 192.168.206.128:12121 success.
TopicConfig [topicName=topic01, readQueueNums=8, writeQueueNums=8, perm=RW-, topicFilterType=SINGLE_TAG, topicSysFlag=0, order=false]，禁读的意思是禁止发送消息，禁写的意思是禁止消息写入


4、查看集群内所有的topic
[root@master rocketmq]# sh bin/mqadmin topiclist -c rocketmq-cluster -n www.mt.com:9876
#Cluster Name         #Topic                                            #Consumer Group
rocketmq-cluster      broker2
rocketmq-cluster      broker1
...


5、查看topic所属集群
[root@master rocketmq]# sh bin/mqadmin topicClusterlist -t topic01 -n www.mt.com:9876
rocketmq-cluster

6、查看topic路由信息
[root@master rocketmq]# sh bin/mqadmin topicroute -t topic01 -n www.mt.com:9876

{
        "brokerDatas":[
                {
                        "brokerAddrs":{0:"192.168.206.129:12121",1:"192.168.206.128:18080"
                        },
                        "brokerName":"broker2",
                        "cluster":"rocketmq-cluster"
                },
                {
                        "brokerAddrs":{0:"192.168.206.128:12121",1:"192.168.206.129:18080"
                        },
                        "brokerName":"broker1",
                        "cluster":"rocketmq-cluster"
                }
        ],
        "filterServerTable":{},
        "queueDatas":[
                {
                        "brokerName":"broker2",
                        "perm":6,
                        "readQueueNums":8,
                        "topicSynFlag":0,
                        "writeQueueNums":8
                },
                {
                        "brokerName":"broker1",
                        "perm":6,
                        "readQueueNums":8,
                        "topicSynFlag":0,
                        "writeQueueNums":8
                }
        ]
}

7、查看topic统计信息
[root@master rocketmq]# sh bin/mqadmin topicstatus -t topic01 -n www.mt.com:9876
#Broker Name                      #QID  #Min Offset           #Max Offset             #Last Updated
broker1                           0     0                     0
broker1                           1     0                     0
broker1                           2     0                     0
broker1                           3     0                     0
broker1                           4     0                     0
broker1                           5     0                     0
broker1                           6     0                     0
broker1                           7     0                     0
broker2                           0     0                     0
broker2                           1     0                     0
broker2                           2     0                     0
broker2                           3     0                     0
broker2                           4     0                     0
broker2                           5     0                     0
broker2                           6     0                     0
broker2                           7     0                     0
在消息不均衡的情况下，maxOffset会相差较大，普通消息不回出现这种情况。在顺序消息时会出现这种情况，需要重新设置shardingkey避免热点问题

8、查看broker状态信息
[root@master rocketmq]# sh bin/mqadmin brokerstatus -b 192.168.206.128:12121   -n www.mt.com:9876
EndTransactionQueueSize         : 0
EndTransactionThreadPoolQueueCapacity: 100000
bootTimestamp                   : 1604289742467
brokerVersion                   : 313
brokerVersionDesc               : V4_5_0
commitLogDirCapacity            : Total : 45.6 GiB, Free : 40.3 GiB.
commitLogDiskRatio              : -1.0
commitLogMaxOffset              : 0
commitLogMinOffset              : -1
consumeQueueDiskRatio           : -1.0
dispatchBehindBytes             : 0
dispatchMaxBuffer               : 0
earliestMessageTimeStamp        : -1
getFoundTps                     : 0.0 0.0 0.0
getMessageEntireTimeMax         : 9
getMissTps                      : 0.0 0.03331390022486883 0.033317785033650966
getTotalTps                     : 0.0 0.03331390022486883 0.033317785033650966
getTransferedTps                : 0.0 0.0 0.0
msgGetTotalTodayMorning         : 0
msgGetTotalTodayNow             : 0
msgGetTotalYesterdayMorning     : 0
msgPutTotalTodayMorning         : 0
msgPutTotalTodayNow             : 0
msgPutTotalYesterdayMorning     : 0
pageCacheLockTimeMills          : 0
pullThreadPoolQueueCapacity     : 100000
pullThreadPoolQueueHeadWaitTimeMills: 0
pullThreadPoolQueueSize         : 0
putMessageAverageSize           : 0.0
putMessageDistributeTime        : [<=0ms]:0 [0~10ms]:0 [10~50ms]:0 [50~100ms]:0 [100~200ms]:0 [200~500ms]:0 [500ms~1s]:0 [1~2s]:0 [2~3s]:0 [3~4s]:0 [4~5s]:0 [5~10s]:0 [10s~]:0
putMessageEntireTimeMax         : 0
putMessageSizeTotal             : 0
putMessageTimesTotal            : 1
putTps                          : 0.0 0.0 0.0
queryThreadPoolQueueCapacity    : 20000
queryThreadPoolQueueHeadWaitTimeMills: 0
queryThreadPoolQueueSize        : 0
remainHowManyDataToFlush        : 0 B
remainTransientStoreBufferNumbs : 2147483647
runtime                         : [ 0 days, 7 hours, 24 minutes, 19 seconds ]
sendThreadPoolQueueCapacity     : 10000
sendThreadPoolQueueHeadWaitTimeMills: 0
sendThreadPoolQueueSize         : 0
startAcceptSendRequestTimeStamp : 0

参数：putMessageDistributeTime 表示发送消息耗时的热力图，可关注


9、禁写broker，用于升级broker
#sh mqadmin wipeWritePerm -b 192.168.206.128:12121   -n www.mt.com:9876  

10、更新broker配置，不需要重启
[root@master rocketmq]# sh bin/mqadmin updatebrokerconfig -k sendThreadPoolQueueCapacity -v 10000  -b 192.168.206.128:12121   -n www.mt.com:9876
update broker config success, 192.168.206.128:12121

11、查看producer的机器列表
[root@master rocketmq]# sh bin/mqadmin producerconnection -g group01  -t topic01  -n www.mt.com:9876

12、查看consumer的网络连接，用来排查订阅关系
[root@master rocketmq]# sh bin/mqadmin consumerconnection -g group01   -n www.mt.com:9876

13、查看broker上所有消费者的消费状态，类似于consumerprogress
[root@master rocketmq]# sh bin/mqadmin brokerConsumeStats -b 192.168.206.128:12121    -n www.mt.com:9876

14、查看broker上所有消费者的消费状态，类似于consumerprogress
[root@master rocketmq]# sh bin/mqadmin consumerprogress -g group01    -n www.mt.com:9876
QID:为分片在broker上的id，BrokerOffset:消息发送位点，ConsumeOffset:消息消费位点，Diff:消息堆积量


15、查看topic指定时间的消息
[root@master rocketmq]# sh bin/mqadmin printMsg -b 开始时间(格式:yyyy-MM-dd#HH:mm:ss:SSS) -e 结束时间(格式同开始时间) [-d 是否打印消息体] [ -s 消息标签 tagA||TAGB] [-c 编码格式]    -t topic01
死信topic:%DLQ%cid;cid注意替换为自己的，如果控制台看不到可能是没有读取权限可先授权

16、重置消费者消费位点
[root@master rocketmq]# sh bin/mqadmin resetOffsetByTime -g 消费者CID -s 时间(格式:yyyy-MM-dd#HH:mm:ss:SSS)  -t Topic名称
注意：重置CID的消费位点，先查看消费者的对接数量，只有消费者在线才能重置消费位点，控制台上重置消费位点重置的是业务topic的消费位点。如果重试之后总的堆积量很大，每个的堆积量很小，查看consumerprogress看是否有重试队列堆积。如果重试队列有大量堆积需要清理重试队列用该命令，重试topic的方式：%RETRY%cid

4.3、使用mqadmin收发消息

待补充

4.4、日志

?

rokcetmq详解-个人版-第一章

原文：https://www.cnblogs.com/hmt123/p/13916607.html