消息队列之 RabbitMQ

概论

什么是消息队列,消息队列有什么用?

消息队列通过消息服务中间件来提升系统异步通信、扩展解耦能力,当消息发送者发送消息以后,将由消息代理接管,消息代理保证消息传递到指定目的地。

消息队列的特性:

  1. 业务无关
  2. FIFO
  3. 容灾
  4. 性能

为什么要使用消息队列:

  1. 系统解耦
  2. 异步调用
  3. 流量削峰

消息服务中两个重要概念:消息代理(message broker)和目的地(destination)。当消息发送者发送消息以后,将由消息代理接管,消息代理保证消息传递到指定目的地。

消息队列主要有两种形式的目的地:

  1. 队列(queue):点对点消息通信(point-to-point)
    • 消息发送者发送消息,消息代理将其放入一个队列中,消息接收者从队列中获取消息内容, 消息读取后被移出队列
    • 消息只有唯一的发送者和接受者,但并不是说只能有一个接收者
  2. 主题(topic):发布(publish)/订阅(subscribe)消息通信
    • 发送者(发布者)发送消息到主题,多个接收者(订阅者)监听(订阅)这个主题,那么 就会在消息到达时同时收到消息

消息队列常见的两种协议:

  1. JMS(Java Message Service)JAVA消息服务:基于JVM消息代理的规范。
    • ActiveMQ、HornetMQ是JMS实现
  2. AMQP(Advanced Message Queuing Protocol):
    • 高级消息队列协议,也是一个消息代理的规范,兼容JMS
    • RabbitMQ是AMQP的实现

两种协议区别与联系:

  1. JMS是定义了统一的接口,来对消息操作进行统一;AMQP是通过规定协议来统一数据交互的格式
  2. JMS限定了必须使用Java语言;AMQP只是协议,不规定实现方式,因此是跨语言的
  3. JMS规定了两种消息模型;而AMQP的消息模型更加丰富

常见的消息队列:

  • ActiveMQ:基于JMS
  • RabbitMQ:基于AMQP协议,erlang语言开发,稳定性好
  • RocketMQ:基于JMS,阿里巴巴产品,目前交由Apache基金会
  • Kafka:分布式消息系统,高吞吐量

消息队列与 Spring:

  1. spring-jms提供了对JMS的支持
  2. spring-rabbit提供了对AMQP的支持
  3. 需要ConnectionFactory的实现来连接消息代理
  4. 提供JmsTemplate、RabbitTemplate来发送消息
  5. @JmsListener(JMS)、@RabbitListener(AMQP)注解在方法上监听消息代理发 布的消息
  6. @EnableJms、@EnableRabbit开启支持
  7. Spring Boot自动配置
    • JmsAutoConfiguration
    • RabbitAutoConfiguration

RabbitMQ 基础

核心概念

RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue Protocol)的开源实现。

  1. Message:消息,消息是不具名的,它由消息头和消息体组成。消息体是不透明的,而消息头则由一系列的可选属性组成,这些属性包括routing-key(路由键)、priority(相对于其他消息的优先权)、delivery-mode(指出 该消息可能需要持久性存储)等。

  2. Publisher:消息的生产者,也是一个向交换器发布消息的客户端应用程序。

  3. Exchange:交换器,用来接收生产者发送的消息并将这些消息路由给服务器中的队列。 Exchange有4种类型:direct(默认),fanout, topic, 和headers,不同类型的Exchange转发消息的策略有所区别。

  4. Queue:消息队列,用来保存消息直到发送给消费者。它是消息的容器,也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面,等待消费者连接到这个队列将其取走。

  5. Binding:绑定,用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连 接起来的路由规则,所以可以将交换器理解成一个由绑定构成的路由表。 Exchange 和Queue的绑定可以是多对多的关系。

  6. Connection:网络连接,比如一个TCP连接。

  7. Channel:信道,多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内的虚拟连接,AMQP 命令都是通过信道发出去的,不管是发布消息、订阅队列还是接收消息,这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销,所以引入了信道的概念,以复用一条 TCP 连接。

  8. Consumer:消息的消费者,表示一个从消息队列中取得消息的客户端应用程序。

  9. Virtual Host:虚拟主机,表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加 密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器,拥有 自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础,必须在连接时指定, RabbitMQ 默认的 vhost 是 /。

  10. Broker:表示消息队列服务器实体。

Rabbit MQ 的运行机制

在了解 Rabbit MQ 的运行机制之前,你应该先了解 AMQP 中的消息路由: AMQP 中消息的路由过程和 Java 开发者熟悉的 JMS 存在一些差别,AMQP 中增加了 Exchange 和 Binding 的角色。生产者把消息发布到 Exchange 上,消息最终到达队列并被消费者接收,而 Binding 决定交换器的消息应该发送到那个队列。

Exchange 类型

Exchange分发消息时根据类型的不同分发策略有区别,目前共四种类型: direct、fanout、topic、headers 。headers 匹配 AMQP 消息的 header 而不是路由键。 headers 交换器和 direct 交换器完全一致,但性能差很多, 目前几乎用不到了,所以直接看另外三种类型:

  1. direct: 消息中的路由键(routing key)如果和 Binding 中的 binding key 一致,交换器就将消息发到对应的队列中。路由键与队列名完全匹配,如果一个队列绑定到交换机要求路由键为 “dog”,则只转发 routing key 标记为“dog”的消息,不会转 发“dog.puppy”,也不会转发“dog.guard”等等。它是完全匹配、单播的模式。
  2. fonout:每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交换器不处理路由键,只是简单的将队列绑定到交换器上,每个发送到交换器的消息都会被转发到与该交换器绑定 的所有队列上。很像子网广播,每台子网内的主机都获得了一份复制的消息。fanout 类型转发消息是最快的。
  3. topic:topic 交换器通过模式匹配分配消息的路由键属性,将路由键和某个模式进行匹配,此时队列需要绑定到一个模式上。它将路由键和绑定键 的字符串切分成单词,这些单词之间用点隔开。它同样也会识别两个通配符:符号“#”和符号 “”。# 匹配0个或多个单词, 匹配一个单词。

Docker 安装 RabbitMQ

直接执行命令

docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369\
 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:management

RabbitMQ 的端口占用说明

  1. 4369, 25672 (Erlang发现&集群端口)
  2. 5672, 5671 (AMQP端口)
  3. 15672 (web管理后台端口)
  4. 61613, 61614 (STOMP协议端口)
  5. 1883, 8883 (MQTT协议端口)

测试 Rabbit MQ

RabbitMQ -version: 3.8.14

  1. 新建 Queue

  1. 新建 Exchange,指定 交换机类型

  1. 将交换机与 Queue 绑定

  1. 在 Exchange 中发送消息测试,点击进入一个 Exchange

  1. 在 Queue 中查看消息是否路由成功

成功路由

Rabbit MQ 确认机制

有哪些确认机制

保证消息不丢失,可靠抵达,可以使用事务消息,性能下降250倍,为此引入确认机制

  • publisher确认 confirmCallback 确认模式
  • publisher确认 returnCallback 未投递到 queue 退回模式
  • consumer确认 ack机制

确认机制例图

如何配置这些确认机制

配置 confirmCallback

spring.rabbitmq.publisher-confirms=true

  1. 在创建 connectionFactory 的时候设置 PublisherConfirms(true) 选项,开启 confirmcallback 。
  2. CorrelationData:用来表示当前消息唯一性。
  3. 消息只要被 broker 接收到就会执行 confirmCallback,如果是 cluster 模式,需要所有 broker 接收到才会调用 confirmCallback。
  4. 被 broker 接收到只能表示 message 已经到达服务器,并不能保证消息一定会被投递到目标 queue 里。所以需要用到 returnCallback 。

配置 returnCallback

spring.rabbitmq.publisher-returns=true spring.rabbitmq.template.mandatory=true

confrim 模式只能保证消息到达 broker,不能保证消息准确投递到目标 queue 里。在有些业务场景下,我们需要保证消息一定要投递到目标 queue 里,此时就需要用到 return 退回模式。

这样如果未能投递到目标 queue 里将调用 returnCallback ,可以记录下详细到投递数 据,定期的巡检或者自动纠错都需要这些数据。

配置 ACK 消息确认机制

  1. 消费者获取到消息,成功处理,可以回复Ack给Broker
    • basic.ack用于肯定确认;broker将移除此消息
    • basic.nack用于否定确认;可以指定broker是否丢弃此消息,可以批量
    • basic.reject用于否定确认;同上,但不能批量
  2. 默认自动ack,消息被消费者收到,就会从broker的queue中移除
  3. queue无消费者,消息依然会被存储,直到消费者消费
  4. 消费者收到消息,默认会自动ack。但是如果无法确定此消息是否被处理完成, 或者成功处理。我们可以开启手动ack模式
    • 消息处理成功,ack(),接受下一个消息,此消息broker就会移除
    • 消息处理失败,nack()/reject(),重新发送给其他人进行处理,或者容错处理后ack
    • 消息一直没有调用ack/nack方法,broker认为此消息正在被处理,不会投递给别人,此时客户端断开,消息不会被broker移除,会投递给别人

其他

推荐阅读,比我写得好:

尚硅谷2020微服务分布式电商项目《谷粒商城》-rabbitmq_a2522827931的博客-CSDN博客

参考资料