RabbitMQ 教程 - 发布/订阅
发布/订阅
(使用 Pika Python 客户端)
先决条件
本教程假设 RabbitMQ 已 安装 并在 localhost 上的 标准端口 (5672) 上运行。如果您使用不同的主机、端口或凭据,则需要调整连接设置。
哪里寻求帮助
如果您在学习本教程时遇到困难,可以通过 GitHub Discussions 或 RabbitMQ 社区 Discord 联系我们。
先决条件
与其他的 Python 教程一样,我们将使用 Pika RabbitMQ 客户端 1.0.0 版本。
本教程重点介绍
在上一篇教程中,我们创建了一个工作队列。工作队列的假设是每个任务都只被交付给一个工作者。在本篇中,我们将做一些完全不同的事情——我们将把消息交付给多个消费者。这种模式被称为“发布/订阅”。
为了说明这种模式,我们将构建一个简单的日志系统。它将包含两个程序——第一个程序将发出日志消息,第二个程序将接收并打印它们。
在我们的日志系统中,运行的每个接收者程序实例都将收到消息。这样,我们就可以运行一个接收者并将日志写入磁盘;同时,我们还可以运行另一个接收者并在屏幕上查看日志。
本质上,发布的日志消息将被广播给所有接收者。
交换器
在之前的教程中,我们向队列发送消息并从队列接收消息。现在是时候在 RabbitMQ 中引入完整的消息模型了。
让我们快速回顾一下之前的内容
- 生产者 是发送消息的用户应用程序。
- 队列 是存储消息的缓冲区。
- 消费者 是接收消息的用户应用程序。
RabbitMQ 消息模型的核心思想是生产者从不直接将任何消息发送到队列。实际上,生产者往往甚至不知道消息是否会被传递到任何队列。
相反,生产者只能将消息发送到一个交换器。交换器是一个非常简单的东西。一端接收来自生产者的消息,另一端将消息推送到队列。交换器必须确切地知道如何处理它收到的消息。它应该被追加到一个特定的队列吗?它应该被追加到多个队列吗?或者它应该被丢弃。这些规则由交换器类型定义。
有几种可用的交换器类型:direct、topic、headers 和 fanout。我们将专注于最后一种——扇出。让我们创建一个该类型的交换器,并将其命名为 logs。
channel.exchange_declare(exchange='logs',
exchange_type='fanout')
fanout 交换器非常简单。顾名思义,它只是将收到的所有消息广播到它知道的所有队列。这正是我们日志记录器所需要的。
列出交换器
要列出服务器上的交换器,可以使用一直很有用的
rabbitmqctl。sudo rabbitmqctl list_exchanges在此列表中,将有一些
amq.*交换器以及默认(未命名)交换器。这些是默认创建的,但目前不太可能需要使用它们。
默认交换器
在之前的教程中,我们对交换器一无所知,但仍然能够将消息发送到队列。之所以可能,是因为我们使用了默认交换器,我们用空字符串 (
"") 来标识它。回想一下我们之前是如何发布消息的
channel.basic_publish(exchange='',
routing_key='hello',
body=message)
exchange参数是交换器的名称。空字符串表示默认或无名交换器:消息将被路由到由routing_key指定的队列,如果该队列存在的话。
现在,我们可以改为发布到我们的命名交换器
channel.basic_publish(exchange='logs',
routing_key='',
body=message)
临时队列
您可能还记得,之前我们使用了具有特定名称的队列(还记得 hello 和 task_queue 吗?)。能够命名队列对我们至关重要——我们需要将工作者指向同一个队列。给队列命名对于我们希望在生产者和消费者之间共享队列非常重要。
但我们的日志记录器不是这种情况。我们想了解所有日志消息,而不仅仅是其中的一部分。我们只对当前正在流动的消息感兴趣,而不是旧消息。要解决这个问题,我们需要两件事。
首先,每当我们连接到 RabbitMQ 时,都需要一个全新的、空的队列。为了做到这一点,我们可以创建一个带有随机名称的队列,或者更好的是——让服务器为我们选择一个随机队列名称。我们可以通过向 queue_declare 传递一个空的 queue 参数来实现这一点。
result = channel.queue_declare(queue='')
此时 result.method.queue 包含一个随机队列名称。例如,它可能看起来像 amq.gen-JzTY20BRgKO-HjmUJj0wLg。
其次,一旦消费者连接关闭,队列就应该被删除。有一个 exclusive 标志可以实现这一点。
result = channel.queue_declare(queue='', exclusive=True)
你可以在队列指南中了解更多关于 exclusive 标志和其他队列属性的信息。
绑定
我们已经创建了一个 fanout 交换器和一个队列。现在我们需要告诉交换器将消息发送到我们的队列。交换器和队列之间的这种关系称为绑定。
channel.queue_bind(exchange='logs',
queue=result.method.queue)
从现在开始,logs 交换器将把消息附加到我们的队列。
列出绑定
您可以使用,您猜对了,列出现有绑定。
rabbitmqctl list_bindings
总而言之
生产者程序,它发出日志消息,与上一篇教程看起来没有太大区别。最重要的变化是我们现在希望将消息发布到我们的 logs 交换器,而不是无名交换器。发送消息时我们需要提供一个 routing_key,但对于 fanout 交换器,其值会被忽略。
emit_log.py (源代码)
#!/usr/bin/env python
import pika
import sys
connection = pika.BlockingConnection(
pika.ConnectionParameters(host='localhost'))
channel = connection.channel()
channel.exchange_declare(exchange='logs', exchange_type='fanout')
message = ' '.join(sys.argv[1:]) or "info: Hello World!"
channel.basic_publish(exchange='logs', routing_key='', body=message)
print(f" [x] Sent {message}")
connection.close()
如您所见,建立连接后,我们声明了交换器。此步骤是必要的,因为禁止发布到不存在的交换器。
如果尚未将任何队列绑定到交换器,消息将丢失,但这对我们来说没关系;如果没有消费者在监听,我们可以安全地丢弃该消息。
receive_logs.py (源代码)
#!/usr/bin/env python
import pika
connection = pika.BlockingConnection(
pika.ConnectionParameters(host='localhost'))
channel = connection.channel()
channel.exchange_declare(exchange='logs', exchange_type='fanout')
result = channel.queue_declare(queue='', exclusive=True)
queue_name = result.method.queue
channel.queue_bind(exchange='logs', queue=queue_name)
print(' [*] Waiting for logs. To exit press CTRL+C')
def callback(ch, method, properties, body):
print(f" [x] {body}")
channel.basic_consume(
queue=queue_name, on_message_callback=callback, auto_ack=True)
channel.start_consuming()
完成了。如果你想将日志保存到文件中,只需打开一个控制台并输入:
# -u is used to avoid buffering of the messages printed to the standard output
python -u receive_logs.py > logs_from_rabbit.log
如果您希望在屏幕上看到日志,请启动一个新的终端并运行:
python receive_logs.py
当然,要发出日志,请键入:
python emit_log.py
使用 rabbitmqctl list_bindings,你可以验证代码实际上是否按照我们的意愿创建了绑定和队列。运行两个 receive_logs.py 程序你应该会看到类似这样的输出:
sudo rabbitmqctl list_bindings
# => Listing bindings ...
# => logs exchange amq.gen-JzTY20BRgKO-HjmUJj0wLg queue []
# => logs exchange amq.gen-vso0PVvyiRIL2WoV3i48Yg queue []
# => ...done.
结果的解释很简单:来自 logs 交换器的数据进入了两个带有服务器分配名称的队列。这正是我们的意图。
要了解如何监听消息的子集,让我们继续学习 教程 4。