RabbitMQ 介绍
专栏文章
RabbitMQ 是重要的消息队列组件,OpenStack 采用 RabbitMQ 做消息交互的重要组件之一。
常见 MQ 对比
| ActiveMQ | RabbitMQ | RocketMQ | Kafka | ZeroMQ | |
|---|---|---|---|---|---|
| 单机吞吐量 | 比 RabbitMQ 低 | 2.6w/s(消息做持久化) | 11.6w/s | 17.3w/s | 29w/s |
| 开发语言 | Java | Erlang | Java | Scala/Java | C |
| 主要维护者 | Apache | Mozilla/Spring | Alibaba | Apache | iMatix,创始人已去世 |
| 成熟度 | 成熟 | 成熟 | 开源版本不够成熟 | 比较成熟 | 只有 C、PHP 等版本成熟 |
| 订阅形式 | 点对点(p2p)、广播(发布-订阅) | 提供了 4 种:direct, topic, Headers 和 fanout。fanout 就是广播模式 | 基于 topic/messageTag 以及按照消息类型、属性进行正则匹配的发布订阅模式 | 基于 topic 以及按照 topic 进行正则匹配的发布订阅模式 | 点对点(p2p) |
| 持久化 | 支持少量堆积 | 支持少量堆积 | 支持大量堆积 | 支持大量堆积 | 不支持 |
| 顺序消息 | 不支持 | 不支持 | 支持 | 支持 | 不支持 |
| 性能稳定性 | 好 | 好 | 一般 | 较差 | 很好 |
| 集群方式 | 支持简单集群模式,比如主-备,对高级集群模式支持不好。 | 支持简单集群,复制模式,对高级集群模式支持不好。 | 常用多对Master-Slave 模式,开源版本需手动切换 Slave 变成 Master | 天然的‘Leader-Slave`无状态集群,每台服务器既是 Master 也是 Slave | 不支持 |
| 管理界面 | 一般 | 较好 | 一般 | 无 | 无 |
安装 rabbitmq
sudo yum install rabbitmq-server -y启动
sudo service rabbitmq-server start常用端口
- 4369 (epmd), 25672 (Erlang distribution)
- 5672, 5671 (AMQP 0-9-1 without and with TLS)
- 15672 (if management plugin is enabled)
- 61613, 61614 (if STOMP is enabled)
- 1883, 8883 (if MQTT is enabled)
概念
RabbitMQ 实现了 AMQP 0-9-1[Advanced Message Queuing Protocol],
其中重要的概念是 交换机[Exchange] 和 队列[Queue],Exchange 和 Queue 通过 绑定[Bind] 操作进行绑定。
生产者[Producer] 不需要关注 消息[Message] 实际被 路由[Routing] 到哪个队列,而 消费者[Consumer] 也不需要关注 Message 是从哪个 Exchange 接收的。
Exchange 分为 直连[direct]交换机、扇形[fanout]交换机、主题[topic]交换机、头[headers]交换机。
direct exchange 与 queue 绑定时需要指定一个 routing_key,消息被发送到 direct exchange 时也需要指定一个 routing_key,消息会被分发到具有相同 routing_key 绑定的 queue 中;
fanout exchange 是一个广播型的交换机,发送到 fanout exchange 的消息被分发到与之绑定的所有 queue 中;
topic exchange 是更复杂的 direct exchange,它的 routing_key 必须是以 . 分隔的几个字符串,一般是以多个维度分隔 (例如日志系统中以 “应用.级别” [shop.info]来制定),topic exchange 与 queue 绑定时可以指定通配的 routing_key,* 表示一个单词,# 表示任意数量的单词;
headers exchange 不通过 routing_key 来建立与 queue 的绑定,而是使用消息的属性来进行分发。
访问用户
guest 用户被默认创建,默认在 localhost 可以用 guest/guest 来访问。
rabbitmqctl命令可以 CRUD 用户,见命令 help
rabbitmqctl set_user_tags user_admin administrator
# rabbitmqctl set_user_tags user_admin monitoring policymaker
rabbitmqctl set_permissions -p / user_admin ".*" ".*" ".*"vhosts=`rabbitmqctl list_vhosts | grep -v "Listing vhosts" | grep -v "/"`
for vhost in $vhosts; do
rabbitmqctl set_permissions -p $vhost user_admin ".*" ".*" ".*"
done角色
RabbitMQ 的用户角色分类: none、management、policymaker、monitoring、administrator
none
不能访问 management plugin
management
用户可以通过 AMQP 做的任何事外加:
- 列出自己可以通过 AMQP 登入的 virtual hosts
- 查看自己的 virtual hosts 中的 queues, exchanges 和 bindings
- 查看和关闭自己的 channels 和 connections
- 查看有关自己的 virtual hosts 的“全局”的统计信息,包含其他用户在这些 virtual hosts 中的活动
policymaker
management 可以做的任何事外加:
- 查看、创建和删除自己的 virtual hosts 所属的 policies 和 parameters
monitoring
management 可以做的任何事外加:
- 列出所有 virtual hosts,包括他们不能登录的 virtual hosts
- 查看其他用户的 connections 和 channels
- 查看节点级别的数据如 clustering 和 memory 使用情况
- 查看真正的关于所有 virtual hosts 的全局的统计信息
administrator
policymaker 和 monitoring 可以做的任何事外加:
- 创建和删除 virtual hosts
- 查看、创建和删除 users
- 查看创建和删除 permissions
- 关闭其他用户的 connections
日志
位于/var/log/rabbitmq
ulimit 设置
We recommend allowing for at least 65536 file descriptors for user rabbitmq in production environments. 4096 should be sufficient for most development workloads
验证 ulimit
cat /proc/$RABBITMQ_BEAM_PROCESS_PID/limits 或者 rabbitmqctl status
其中 RABBITMQ_BEAM_PROCESS_PID 的值可以从 rabbitmqctl status 中获取
注意事项
- pika 是 rabbitmq 官方推荐的 python 客户端
- queue 没有边界,是一个无限大的缓存。
- producer 的代码逻辑:
- 先获得 connection 对象
- 然后就获得 channel 对象
- 然后 queue_declare 创建 queue
- basic_publish,参数 routing_key 指定了 queue 的名字,exchange 指定了 exchange 的名字
- connection.close()会 flush 缓存,然后关闭连接。
- consumer 的代码逻辑:
- 先获得 connection 对象
- 然后就获得 channel 对象
- 然后 queue_declare 创建 queue(是幂等的,没事)
- 定义 callback 函数
- basic_consume,参数 queue 指定 queue 的名字,callback 传入当作回调,no_ack 指定是否要 ack
- start_consuming,开始无限循环的等待。
- 如果向一个不存在的 queue 发送 message,会被丢弃。所以需要创建 queue(queue_declare)
- 创建 queue 是幂等的,多次创建不要紧
- 如果一个 queue 有多个 consumers,rabbitmq 默认会 round-robin 地发送给 consumers,每个 consumer 接受到的总 message 大致相同
- 在 rabbitmq 内部,一个 message 绝对不会直接发送给 queue,而是先到 exchange 处理
- Receiving messages from the queue 需要注册一个 callback 函数
- 为了防止 consumer 出现异常而导致 message 丢失,应该使用 acknowledgments。
- 如果 consumer 死了(connection 断、channel 断、tcp 断)并且没有发回 ack,rabbitmq 将会把 message 放回 queue 中不会删除,如果该 queue 有其他 consumer,那么会立即发送给其他 consumer,这样保证 message 不丢失。
- 如果 consumer 一直不 ack,rabbitmq 将会很危险,内存使用会越来越高。
- queue_declare 时,一定要设置 durable 为 True,否则 rabbitmq 一重启 queue 就没了
- ack 是默认开启的
- 虽然可以将 queue 设置为持久化(durable),但也不能完全保证,因为 rabbitmq 不是每个 message 都 fsync 的,而是先到 cache 中,不一定被落到磁盘上
- rabbitmq 只管把 queue 中的 messages 往多个 consumers 扔,但不知道哪个 consumer 很忙,哪个很闲,可以使用 channel.basic_qos(prefetch_count=1),意思是告诉 rabbitmq,在 consumer ack 一个 message 之前,不要再给这个 consumer 发 message,缺点是:如果 consumers 都很忙,rabbitmq 中的 message 将堆积。
- 如果发送时没指定 exchange 的名字,则会发给 routing_key 对应的名字
- queue_bind 方法可以做 exchange 和 queues 之间的 bind 操作
sudo rabbitmqctl list_exchanges结果显示的amq.开头的是默认创建的。- consumer 和 rabbitmq 之间是长连接。
- 如果 queue 中有 10 条消息,2 个 consumers,如果其中一个 consumer 停掉又启动的话,也不会接收到现有的消息,现有的消息已被第 1 个 consumer 承包,为了避免这个情况出现,可以设置 prefetch 大小,这样每个 consumer 只能承包这么多的消息,而不是所有消息,好让其他的 consumer 也能处理现有 message,如果有一个 consumer hang 住,并已占据一些 message 的话,可以重启这个 consumer 即可。
- 如果多个 consumer 监听同一个 queue,会 round-robin 收到,如果想一个 message 同时被多个 consumer 收到,必须有多个对应的 queue,exchange 的类型设置为 fanout
- durable 和 exclusive 如果同时用的话,会如何?
- durable 为 false 时,如果 broker 重启,queue 则会消失。
- 什么情况下用 topic?openstack 中,由于 compute node 会变化,producer 可以写死 exchange 类型为 topic,动态的通过 routing_key 来指定。
- 何时通过 rest api,何时通过 rabbitmq?如果 team 与 team 中间不可信,则需要通过 rest api,rest api 有权限验证机制。
- rabbitmq 是 cpu、内存密集型的
HA
- 每台机器都要有相同的 cookie!
- HA 分为 service HA 和 Message HA
- Message HA 可以通过 mirror queue 实现,也可以通过共享存储实现
exchange 的类型
exchange 会决定一个 message 到底是发往特定的 queue,还是所有 queue。这是通过 exchange type 的设置来决定,有 4 种:
- direct
- producer 设置 exchange 的 routing key,consumer bind 时指定该 routing key。可以做到通过同一个 exchange 来达到不同的 queue ,direct 比 fanout 粒度更细一点
- topic
- 发送给 topic 的 routing_key 不能随意写,有规则,例如 stock.usd.nyse,可以通过通配符的方式来分类。
*表示一个 word#表示 0 或多个 word
- 发送给 topic 的 routing_key 不能随意写,有规则,例如 stock.usd.nyse,可以通过通配符的方式来分类。
- headers
- fanout
- exchange 将它收到的 messages 扔到后端所有的 queue 中
exchange_declare 用来创建 exchange
plugins
rabbitmq 支持很多 plugins
- rabbitmq-plugins enable plugin-name
- rabbitmq-plugins disable plugin-name
- rabbitmq-plugins list
例如: 启动管理界面,重启 rabbitmq 后,访问 http://ip:15672
sudo rabbitmq-plugins enable rabbitmq_management
sudo rabbitmq-plugins enable rabbitmq_management_visualiser专栏文章
最近更新
最新评论