RabbitMQ 教程 - 发布/订阅
发布/订阅
(使用 Pika Python 客户端)
先决条件
与其他 Python 教程一样,我们将使用Pika RabbitMQ 客户端版本 1.0.0。
本教程的重点
在上一个教程中,我们创建了一个工作队列。工作队列背后的假设是每个任务都交付给一个工作进程。在本部分中,我们将做一些完全不同的事情——我们将向多个消费者传递一条消息。这种模式称为“发布/订阅”。
为了说明这种模式,我们将构建一个简单的日志系统。它将由两个程序组成——第一个程序将发出日志消息,第二个程序将接收并打印它们。
在我们的日志系统中,接收器程序的每个正在运行的副本都将获得消息。这样,我们就可以运行一个接收器并将日志定向到磁盘;同时,我们也可以运行另一个接收器并在屏幕上查看日志。
从本质上讲,发布的日志消息将广播到所有接收器。
交换机
在教程的前几部分,我们向队列发送和接收消息。现在是时候介绍 Rabbit 中完整的消息传递模型了。
让我们快速回顾一下我们在之前的教程中介绍的内容
- 生产者是发送消息的用户应用程序。
- 队列是存储消息的缓冲区。
- 消费者是接收消息的用户应用程序。
RabbitMQ 中消息传递模型的核心思想是生产者永远不会直接向队列发送任何消息。实际上,生产者通常甚至不知道消息是否会被传递到任何队列。
相反,生产者只能向交换机发送消息。交换机是一个非常简单的东西。它一端接收来自生产者的消息,另一端将消息推送到队列。交换机必须准确地知道如何处理它接收到的消息。应该将其附加到特定队列吗?应该附加到多个队列吗?或者应该丢弃它?这些规则由交换机类型定义。
有几种可用的交换机类型:direct
、topic
、headers
和 fanout
。我们将重点关注最后一个——fanout
。让我们创建一个这种类型的交换机,并将其命名为 logs
channel.exchange_declare(exchange='logs',
exchange_type='fanout')
fanout
交换机非常简单。正如您可能从名称中猜到的那样,它只是将其接收到的所有消息广播到它知道的所有队列。这正是我们记录器需要的。
列出交换机
要列出服务器上的交换机,您可以运行非常有用的
rabbitmqctl
sudo rabbitmqctl list_exchanges
在此列表中,将有一些
amq.*
交换机和默认(未命名)交换机。这些是默认创建的,但您目前不太可能需要使用它们。
默认交换机
在教程的前几部分,我们对交换机一无所知,但仍然能够向队列发送消息。这是因为我们使用了默认交换机,我们用空字符串(
""
)来标识它。回想一下我们之前是如何发布消息的
channel.basic_publish(exchange='',
routing_key='hello',
body=message)
exchange
参数是交换机的名称。空字符串表示默认或无名交换机:如果存在,则消息将路由到由routing_key
指定名称的队列。
现在,我们可以改为发布到我们命名的交换机
channel.basic_publish(exchange='logs',
routing_key='',
body=message)
临时队列
您可能还记得,之前我们使用的是具有特定名称的队列(记得 hello
和 task_queue
吗?)。能够命名队列对我们来说至关重要——我们需要将工作进程指向同一个队列。当您想要在生产者和消费者之间共享队列时,为队列命名非常重要。
但这对我们的记录器来说并非如此。我们想要了解所有日志消息,而不仅仅是其中的一部分。我们也只对当前正在流动的消息感兴趣,而不是旧的消息。为了解决这个问题,我们需要两件事。
首先,无论何时连接到 Rabbit,我们都需要一个新的空队列。为此,我们可以创建一个具有随机名称的队列,或者,更好的是——让服务器为我们选择一个随机的队列名称。我们可以通过向 queue_declare
提供空的 queue
参数来做到这一点
result = channel.queue_declare(queue='')
此时,result.method.queue
包含一个随机的队列名称。例如,它可能看起来像 amq.gen-JzTY20BRgKO-HjmUJj0wLg
。
其次,一旦消费者连接关闭,队列应被删除。为此,有一个 exclusive
标志
result = channel.queue_declare(queue='', exclusive=True)
您可以在队列指南中了解更多关于 exclusive
标志和其他队列属性的信息。
绑定
我们已经创建了一个 fanout
交换机和一个队列。现在我们需要告诉交换机将消息发送到我们的队列。交换机和队列之间的这种关系称为绑定。
channel.queue_bind(exchange='logs',
queue=result.method.queue)
从现在开始,logs
交换机将消息附加到我们的队列。
列出绑定
您可以使用(您猜对了)列出现有的绑定,
rabbitmqctl list_bindings
综合示例
发出日志消息的生产者程序与之前的教程没有太大区别。最重要的变化是我们现在希望将消息发布到我们的 logs
交换机而不是无名交换机。发送时需要提供 routing_key
,但其值在 fanout
交换机中被忽略。
emit_log.py
(源代码)
#!/usr/bin/env python
import pika
import sys
connection = pika.BlockingConnection(
pika.ConnectionParameters(host='localhost'))
channel = connection.channel()
channel.exchange_declare(exchange='logs', exchange_type='fanout')
message = ' '.join(sys.argv[1:]) or "info: Hello World!"
channel.basic_publish(exchange='logs', routing_key='', body=message)
print(f" [x] Sent {message}")
connection.close()
如您所见,在建立连接后,我们声明了交换机。此步骤是必要的,因为禁止发布到不存在的交换机。
如果尚未将任何队列绑定到交换机,则消息将丢失,但对我们来说没关系;如果还没有消费者在监听,我们可以安全地丢弃消息。
receive_logs.py
(源代码)
#!/usr/bin/env python
import pika
connection = pika.BlockingConnection(
pika.ConnectionParameters(host='localhost'))
channel = connection.channel()
channel.exchange_declare(exchange='logs', exchange_type='fanout')
result = channel.queue_declare(queue='', exclusive=True)
queue_name = result.method.queue
channel.queue_bind(exchange='logs', queue=queue_name)
print(' [*] Waiting for logs. To exit press CTRL+C')
def callback(ch, method, properties, body):
print(f" [x] {body}")
channel.basic_consume(
queue=queue_name, on_message_callback=callback, auto_ack=True)
channel.start_consuming()
我们完成了。如果您想将日志保存到文件,只需打开一个控制台并键入
python receive_logs.py > logs_from_rabbit.log
如果您希望在屏幕上查看日志,请启动一个新终端并运行
python receive_logs.py
当然,要发出日志,请键入
python emit_log.py
使用 rabbitmqctl list_bindings
,您可以验证代码是否按我们期望的那样创建了绑定和队列。如果运行了两个 receive_logs.py
程序,您应该会看到类似以下内容
sudo rabbitmqctl list_bindings
# => Listing bindings ...
# => logs exchange amq.gen-JzTY20BRgKO-HjmUJj0wLg queue []
# => logs exchange amq.gen-vso0PVvyiRIL2WoV3i48Yg queue []
# => ...done.
结果的解释很简单:来自交换机 logs
的数据进入两个具有服务器分配名称的队列。这正是我们想要的结果。
要了解如何监听消息的子集,让我们继续学习教程 4