RabbitMQ 教程 - 发布/订阅
发布/订阅
(使用 amqp Elixir 库)
前提条件
本教程假设 RabbitMQ 已 安装 并在 localhost
的 标准端口 (5672) 上运行。如果您使用不同的主机、端口或凭据,则需要调整连接设置。
在哪里获得帮助
如果您在学习本教程时遇到问题,可以通过 GitHub Discussions 或 RabbitMQ 社区 Discord 联系我们。
在之前的教程中,我们创建了一个工作队列。工作队列背后的假设是每个任务都只交付给一个工作者。在这一部分,我们将做一些完全不同的事情——我们将向多个消费者交付消息。这种模式被称为“发布/订阅”。
为了说明这种模式,我们将构建一个简单的日志系统。它将由两个程序组成——第一个程序将发出日志消息,第二个程序将接收并打印它们。
在我们的日志系统中,接收器程序的每个运行副本都将收到消息。这样,我们将能够运行一个接收器并将日志定向到磁盘;同时,我们将能够运行另一个接收器并在屏幕上查看日志。
本质上,发布的日志消息将被广播到所有接收器。
交换机
在本教程的前面部分,我们向队列发送和接收消息。现在是时候介绍 Rabbit 中完整的消息模型了。
让我们快速回顾一下我们在之前的教程中介绍的内容
- 生产者 是一个发送消息的用户应用程序。
- 队列 是一个存储消息的缓冲区。
- 消费者 是一个接收消息的用户应用程序。
RabbitMQ 消息模型的核心思想是生产者永远不会直接向队列发送任何消息。实际上,生产者通常甚至不知道消息是否会被交付到任何队列。
相反,生产者只能向交换机发送消息。交换机是一个非常简单的东西。一方面,它从生产者接收消息,另一方面,它将消息推送到队列。交换机必须确切地知道如何处理它接收到的消息。应该将其附加到特定队列吗?应该将其附加到多个队列吗?还是应该丢弃它。这些规则由交换机类型定义。
有几种可用的交换机类型:direct
、topic
、headers
和 fanout
。我们将重点关注最后一个——fanout。让我们创建一个这种类型的交换机,并将其命名为 logs
AMQP.Exchange.declare(channel, "logs", :fanout)
fanout 交换机非常简单。正如您可能从名称中猜到的那样,它只是将接收到的所有消息广播到它知道的所有队列。这正是我们的记录器所需要的。
列出交换机
要列出服务器上的交换机,您可以运行非常有用的
rabbitmqctl
sudo rabbitmqctl list_exchanges
在此列表中,将有一些
amq.*
交换机和默认(未命名)交换机。这些是默认创建的,但是您目前不太可能需要使用它们。
默认交换机
在本教程的前面部分,我们对交换机一无所知,但仍然能够向队列发送消息。这之所以成为可能,是因为我们使用了默认交换机,我们用空字符串 (
""
) 标识它。回忆一下我们之前是如何发布消息的
AMQP.Basic.publish(channel, "", "hello", message)
第二个参数是交换机的名称。空字符串表示默认或无名交换机:消息被路由到由
routing_key
指定名称的队列(如果存在)。
现在,我们可以改为发布到我们命名的交换机
AMQP.Basic.publish(channel, "logs", "", message)
临时队列
您可能还记得,之前我们使用的是具有特定名称的队列(还记得 hello
和 task_queue
吗?)。能够命名队列对我们至关重要——我们需要将工作者指向同一个队列。当您想要在生产者和消费者之间共享队列时,为队列命名非常重要。
但这不适用于我们的记录器。我们想听到所有日志消息,而不仅仅是它们的一个子集。我们只对当前流动的消息感兴趣,而不是旧消息。为了解决这个问题,我们需要做两件事。
首先,每当我们连接到 Rabbit 时,我们需要一个全新的空队列。为此,我们可以创建一个具有随机名称的队列,或者,更好的是 - 让服务器为我们选择一个随机队列名称。我们可以通过不向 AMQP.Queue.declare
提供 queue
参数来做到这一点
{:ok, %{queue: queue_name}} = AMQP.Queue.declare(channel)
此时,queue_name
包含一个随机队列名称。例如,它可能看起来像 amq.gen-JzTY20BRgKO-HjmUJj0wLg
。
其次,一旦消费者连接关闭,队列应该被删除。有一个 exclusive
标志可以做到这一点
{:ok, %{queue: queue_name}} = AMQP.Queue.declare(channel, "", exclusive: true)
您可以在队列指南中了解有关 exclusive
标志和其他队列属性的更多信息。
绑定
我们已经创建了一个 fanout 交换机和一个队列。现在我们需要告诉交换机将消息发送到我们的队列。交换机和队列之间的这种关系称为绑定。
AMQP.Queue.bind(channel, queue_name, "logs")
从现在开始,logs
交换机将消息附加到我们的队列。
列出绑定
您可以使用以下命令列出现有绑定,您猜对了,
rabbitmqctl list_bindings
将它们放在一起
生产者程序(发出日志消息)与之前的教程看起来没有太大不同。最重要的变化是,我们现在希望将消息发布到我们的 logs
交换机,而不是无名交换机。我们需要在发送时提供 routing_key
,但对于 fanout
交换机,其值将被忽略。以下是 emit_log.exs
脚本的代码
{:ok, connection} = AMQP.Connection.open
{:ok, channel} = AMQP.Channel.open(connection)
message =
case System.argv do
[] -> "Hello World!"
words -> Enum.join(words, " ")
end
AMQP.Exchange.declare(channel, "logs", :fanout)
AMQP.Basic.publish(channel, "logs", "", message)
IO.puts " [x] Sent '#{message}'"
AMQP.Connection.close(connection)
如您所见,建立连接后,我们声明了交换机。此步骤是必要的,因为禁止发布到不存在的交换机。
如果还没有队列绑定到交换机,消息将会丢失,但这对于我们来说没问题;如果还没有消费者在监听,我们可以安全地丢弃消息。
receive_logs.exs
的代码
defmodule ReceiveLogs do
def wait_for_messages(channel) do
receive do
{:basic_deliver, payload, _meta} ->
IO.puts " [x] Received #{payload}"
wait_for_messages(channel)
end
end
end
{:ok, connection} = AMQP.Connection.open
{:ok, channel} = AMQP.Channel.open(connection)
AMQP.Exchange.declare(channel, "logs", :fanout)
{:ok, %{queue: queue_name}} = AMQP.Queue.declare(channel, "", exclusive: true)
AMQP.Queue.bind(channel, queue_name, "logs")
AMQP.Basic.consume(channel, queue_name, nil, no_ack: true)
IO.puts " [*] Waiting for messages. To exit press CTRL+C, CTRL+C"
ReceiveLogs.wait_for_messages(channel)
我们完成了。如果您想将日志保存到文件,只需打开控制台并输入
mix run receive_logs.exs > logs_from_rabbit.log
如果您希望在屏幕上查看日志,请生成一个新的终端并运行
mix run receive_logs.exs
当然,要发出日志,请输入
mix run emit_log.exs
使用 rabbitmqctl list_bindings
,您可以验证代码是否实际创建了我们想要的绑定和队列。随着两个 receive_logs.exs
程序的运行,您应该看到类似以下内容
sudo rabbitmqctl list_bindings
# => Listing bindings ...
# => logs exchange amq.gen-JzTY20BRgKO-HjmUJj0wLg queue []
# => logs exchange amq.gen-vso0PVvyiRIL2WoV3i48Yg queue []
# => ...done.
结果的解释很简单:来自交换机 logs
的数据流向两个具有服务器分配名称的队列。这正是我们的意图。
要了解如何监听消息的子集,请继续学习教程 4