RabbitMQ 介绍

发布时间: 更新时间: 总字数:3009 阅读时间:7m 作者:IP:上海 网址
专栏文章
  1. RabbitMQ Shovel 配置 -- 消息在不同集群间转发
  2. RabbitMQ 集群配置
  3. 最简单的 RabbitMQ 监控及排错方法

RabbitMQ 是重要的消息队列组件,OpenStack 采用 RabbitMQ 做消息交互的重要组件之一。

常见 MQ 对比

ActiveMQRabbitMQRocketMQKafkaZeroMQ
单机吞吐量比 RabbitMQ 低2.6w/s(消息做持久化)11.6w/s17.3w/s29w/s
开发语言JavaErlangJavaScala/JavaC
主要维护者ApacheMozilla/SpringAlibabaApacheiMatix,创始人已去世
成熟度成熟成熟开源版本不够成熟比较成熟只有 C、PHP 等版本成熟
订阅形式点对点(p2p)、广播(发布-订阅)提供了 4 种:direct, topic, Headers 和 fanout。fanout 就是广播模式基于 topic/messageTag 以及按照消息类型、属性进行正则匹配的发布订阅模式基于 topic 以及按照 topic 进行正则匹配的发布订阅模式点对点(p2p)
持久化支持少量堆积支持少量堆积支持大量堆积支持大量堆积不支持
顺序消息不支持不支持支持支持不支持
性能稳定性好好一般较差很好
集群方式支持简单集群模式,比如主-备,对高级集群模式支持不好。支持简单集群,复制模式,对高级集群模式支持不好。常用多对Master-Slave 模式,开源版本需手动切换 Slave 变成 Master天然的‘Leader-Slave`无状态集群,每台服务器既是 Master 也是 Slave不支持
管理界面一般较好一般无无

安装 rabbitmq

bash
sudo yum install rabbitmq-server -y

启动

bash
sudo service rabbitmq-server start

常用端口

  • 4369 (epmd), 25672 (Erlang distribution)
  • 5672, 5671 (AMQP 0-9-1 without and with TLS)
  • 15672 (if management plugin is enabled)
  • 61613, 61614 (if STOMP is enabled)
  • 1883, 8883 (if MQTT is enabled)

概念

RabbitMQ 实现了 AMQP 0-9-1[Advanced Message Queuing Protocol],

其中重要的概念是 交换机[Exchange] 和 队列[Queue],Exchange 和 Queue 通过 绑定[Bind] 操作进行绑定。

生产者[Producer] 不需要关注 消息[Message] 实际被 路由[Routing] 到哪个队列,而 消费者[Consumer] 也不需要关注 Message 是从哪个 Exchange 接收的。

Exchange 分为 直连[direct]交换机、扇形[fanout]交换机、主题[topic]交换机、头[headers]交换机。

  • direct exchange 与 queue 绑定时需要指定一个 routing_key,消息被发送到 direct exchange 时也需要指定一个 routing_key,消息会被分发到具有相同 routing_key 绑定的 queue 中;

  • fanout exchange 是一个广播型的交换机,发送到 fanout exchange 的消息被分发到与之绑定的所有 queue 中;

  • topic exchange 是更复杂的 direct exchange,它的 routing_key 必须是以 . 分隔的几个字符串,一般是以多个维度分隔 (例如日志系统中以 “应用.级别” [shop.info]来制定),topic exchange 与 queue 绑定时可以指定通配的 routing_key,* 表示一个单词,# 表示任意数量的单词;

  • headers exchange 不通过 routing_key 来建立与 queue 的绑定,而是使用消息的属性来进行分发。

访问用户

guest 用户被默认创建,默认在 localhost 可以用 guest/guest 来访问。

rabbitmqctl命令可以 CRUD 用户,见命令 help

text
rabbitmqctl set_user_tags user_admin administrator
# rabbitmqctl set_user_tags user_admin monitoring policymaker
rabbitmqctl set_permissions -p / user_admin ".*" ".*" ".*"
bash
vhosts=`rabbitmqctl list_vhosts | grep -v "Listing vhosts" | grep -v "/"`
for vhost in $vhosts; do
  rabbitmqctl set_permissions -p $vhost user_admin ".*" ".*" ".*"
done

角色

RabbitMQ 的用户角色分类: none、management、policymaker、monitoring、administrator

none

不能访问 management plugin

management

用户可以通过 AMQP 做的任何事外加:

  • 列出自己可以通过 AMQP 登入的 virtual hosts
  • 查看自己的 virtual hosts 中的 queues, exchanges 和 bindings
  • 查看和关闭自己的 channels 和 connections
  • 查看有关自己的 virtual hosts 的“全局”的统计信息,包含其他用户在这些 virtual hosts 中的活动

policymaker

management 可以做的任何事外加:

  • 查看、创建和删除自己的 virtual hosts 所属的 policies 和 parameters

monitoring

management 可以做的任何事外加:

  • 列出所有 virtual hosts,包括他们不能登录的 virtual hosts
  • 查看其他用户的 connections 和 channels
  • 查看节点级别的数据如 clustering 和 memory 使用情况
  • 查看真正的关于所有 virtual hosts 的全局的统计信息

administrator

policymaker 和 monitoring 可以做的任何事外加:

  • 创建和删除 virtual hosts
  • 查看、创建和删除 users
  • 查看创建和删除 permissions
  • 关闭其他用户的 connections

日志

位于/var/log/rabbitmq

ulimit 设置

We recommend allowing for at least 65536 file descriptors for user rabbitmq in production environments. 4096 should be sufficient for most development workloads

验证 ulimit

cat /proc/$RABBITMQ_BEAM_PROCESS_PID/limits 或者 rabbitmqctl status

其中 RABBITMQ_BEAM_PROCESS_PID 的值可以从 rabbitmqctl status 中获取

注意事项

  • pika 是 rabbitmq 官方推荐的 python 客户端
  • queue 没有边界,是一个无限大的缓存。
  • producer 的代码逻辑:
    • 先获得 connection 对象
    • 然后就获得 channel 对象
    • 然后 queue_declare 创建 queue
    • basic_publish,参数 routing_key 指定了 queue 的名字,exchange 指定了 exchange 的名字
    • connection.close()会 flush 缓存,然后关闭连接。
  • consumer 的代码逻辑:
    • 先获得 connection 对象
    • 然后就获得 channel 对象
    • 然后 queue_declare 创建 queue(是幂等的,没事)
    • 定义 callback 函数
    • basic_consume,参数 queue 指定 queue 的名字,callback 传入当作回调,no_ack 指定是否要 ack
    • start_consuming,开始无限循环的等待。
  • 如果向一个不存在的 queue 发送 message,会被丢弃。所以需要创建 queue(queue_declare)
  • 创建 queue 是幂等的,多次创建不要紧
  • 如果一个 queue 有多个 consumers,rabbitmq 默认会 round-robin 地发送给 consumers,每个 consumer 接受到的总 message 大致相同
  • 在 rabbitmq 内部,一个 message 绝对不会直接发送给 queue,而是先到 exchange 处理
  • Receiving messages from the queue 需要注册一个 callback 函数
  • 为了防止 consumer 出现异常而导致 message 丢失,应该使用 acknowledgments。
  • 如果 consumer 死了(connection 断、channel 断、tcp 断)并且没有发回 ack,rabbitmq 将会把 message 放回 queue 中不会删除,如果该 queue 有其他 consumer,那么会立即发送给其他 consumer,这样保证 message 不丢失。
  • 如果 consumer 一直不 ack,rabbitmq 将会很危险,内存使用会越来越高。
  • queue_declare 时,一定要设置 durable 为 True,否则 rabbitmq 一重启 queue 就没了
  • ack 是默认开启的
  • 虽然可以将 queue 设置为持久化(durable),但也不能完全保证,因为 rabbitmq 不是每个 message 都 fsync 的,而是先到 cache 中,不一定被落到磁盘上
  • rabbitmq 只管把 queue 中的 messages 往多个 consumers 扔,但不知道哪个 consumer 很忙,哪个很闲,可以使用 channel.basic_qos(prefetch_count=1),意思是告诉 rabbitmq,在 consumer ack 一个 message 之前,不要再给这个 consumer 发 message,缺点是:如果 consumers 都很忙,rabbitmq 中的 message 将堆积。
  • 如果发送时没指定 exchange 的名字,则会发给 routing_key 对应的名字
  • queue_bind 方法可以做 exchange 和 queues 之间的 bind 操作
  • sudo rabbitmqctl list_exchanges 结果显示的amq.开头的是默认创建的。
  • consumer 和 rabbitmq 之间是长连接。
  • 如果 queue 中有 10 条消息,2 个 consumers,如果其中一个 consumer 停掉又启动的话,也不会接收到现有的消息,现有的消息已被第 1 个 consumer 承包,为了避免这个情况出现,可以设置 prefetch 大小,这样每个 consumer 只能承包这么多的消息,而不是所有消息,好让其他的 consumer 也能处理现有 message,如果有一个 consumer hang 住,并已占据一些 message 的话,可以重启这个 consumer 即可。
  • 如果多个 consumer 监听同一个 queue,会 round-robin 收到,如果想一个 message 同时被多个 consumer 收到,必须有多个对应的 queue,exchange 的类型设置为 fanout
  • durable 和 exclusive 如果同时用的话,会如何?
  • durable 为 false 时,如果 broker 重启,queue 则会消失。
  • 什么情况下用 topic?openstack 中,由于 compute node 会变化,producer 可以写死 exchange 类型为 topic,动态的通过 routing_key 来指定。
  • 何时通过 rest api,何时通过 rabbitmq?如果 team 与 team 中间不可信,则需要通过 rest api,rest api 有权限验证机制。
  • rabbitmq 是 cpu、内存密集型的

HA

  • 每台机器都要有相同的 cookie!
  • HA 分为 service HA 和 Message HA
  • Message HA 可以通过 mirror queue 实现,也可以通过共享存储实现

exchange 的类型

exchange 会决定一个 message 到底是发往特定的 queue,还是所有 queue。这是通过 exchange type 的设置来决定,有 4 种:

  • direct
    • producer 设置 exchange 的 routing key,consumer bind 时指定该 routing key。可以做到通过同一个 exchange 来达到不同的 queue ,direct 比 fanout 粒度更细一点
  • topic
    • 发送给 topic 的 routing_key 不能随意写,有规则,例如 stock.usd.nyse,可以通过通配符的方式来分类。
      • *表示一个 word
      • #表示 0 或多个 word
  • headers
  • fanout
    • exchange 将它收到的 messages 扔到后端所有的 queue 中

exchange_declare 用来创建 exchange

plugins

rabbitmq 支持很多 plugins

  • rabbitmq-plugins enable plugin-name
  • rabbitmq-plugins disable plugin-name
  • rabbitmq-plugins list

例如: 启动管理界面,重启 rabbitmq 后,访问 http://ip:15672

bash
sudo rabbitmq-plugins enable rabbitmq_management
sudo rabbitmq-plugins enable rabbitmq_management_visualiser