在第二个教程中,我们学习了如何使用工作队列在多个工作人员之间分配耗时的任务。
但是,如果我们需要在远程计算机上运行一个函数并等待结果呢?好吧,那是另一回事。这种模式通常被称为远程过程调用或RPC。
在本教程中,我们将使用RabbitMQ构建一个RPC系统:一个客户端和一个可扩展的RPC服务器。由于我们没有任何值得分配的耗时任务,我们将创建一个返回斐波那契数的虚拟RPC服务。
客户端接口
为了说明如何使用RPC服务,我们将创建一个简单的客户端类。它将公开一个名为call的方法,该方法发送RPC请求并阻塞,直到收到答案:
$fibonacci_rpc = new FibonacciRpcClient(); $response = $fibonacci_rpc->call(30); echo ' [.] Got ', $response, "\n";
关于RPC的说明
尽管RPC在计算中是一种非常常见的模式,但它经常受到批评。当程序员不知道函数调用是本地的还是慢速的RPC时,就会出现问题。这样的混乱会导致系统不可预测,并给调试增加不必要的复杂性。误用RPC不会简化软件,反而会导致无法维护的意大利面条代码。
考虑到这一点,请考虑以下建议:
- 确保哪个函数调用是本地的,哪个是远程的。
- 记录你的系统。明确组件之间的依赖关系。
- 处理错误情况。当RPC服务器长时间停机时,客户端应该如何反应?
如有疑问,请避免RPC。如果可以,您应该使用异步管道,而不是类似RPC的阻塞,结果将异步推送到下一个计算阶段
回调队列
一般来说,在RabbitMQ上执行RPC很容易。客户端发送请求消息,服务器回复响应消息。为了接收响应,我们需要在请求中发送一个“回调”队列地址。我们可以使用默认队列。我们试试吧:
list($queue_name, ,) = $channel->queue_declare("", false, false, true, false);$msg = new AMQPMessage($payload,array('reply_to' => $queue_name) );$channel->basic_publish($msg, '', 'rpc_queue');# ... then code to read a response message from the callback_queue ...
消息属性
AMQP 0-9-1协议预定义了一组与消息相关的14个属性。除了以下属性外,大多数属性很少使用:
- delivery_mode: 将消息标记为持久(值为2)或暂时(1)。您可能还记得第二个教程中的此属性。
- content_type: 用于描述编码的mime类型。例如,对于常用的JSON编码,最好将此属性设置为:application/JSON
- reply_to: 通常用于命名回调队列
- correlation_id: 用于将RPC响应与请求相关联。
相关的ID
在上述方法中,我们建议为每个RPC请求创建一个回调队列。这相当低效,但幸运的是有一个更好的方法——让我们为每个客户端创建一个回调队列。
这引发了一个新问题,在该队列中收到响应后,不清楚该响应属于哪个请求。这时使用correlation_id属性。我们将为每个请求设置一个唯一的值。稍后,当我们在回调队列中收到消息时,我们将查看此属性,并在此基础上将响应与请求相匹配。如果我们看到一个未知的correlation_id值,我们可以安全地丢弃该消息——它不属于我们的请求。
您可能会问,为什么我们应该忽略回调队列中的未知消息,而不是因错误而失败?这是由于服务器端可能存在竞争情况。虽然可能性不大,但RPC服务器可能会在向我们发送答案后,但在发送请求的确认消息之前死亡。如果发生这种情况,重新启动的RPC服务器将再次处理该请求。这就是为什么在客户端上,我们必须优雅地处理重复响应,并且RPC理想情况下应该是幂等的。
概要
我们的RPC将这样工作:
- 当客户端启动时,它会创建一个匿名独占回调队列。
- 对于RPC请求,客户端发送一条具有两个属性的消息:reply_to,设置为回调队列,correlation_id,为每个请求设置一个唯一值。
- 请求被发送到rpc_queue队列。
- RPC工作进程(又名:服务器)正在等待该队列上的请求。当出现请求时,它会执行任务,并使用reply_to字段中的队列将带有结果的消息发送回客户端。
- 客户端等待回调队列上的数据。当消息出现时,它会检查correlation_id属性。如果它与请求中的值匹配,则向应用程序返回响应。
放一起执行
斐波那契任务:
function fib($n) {if ($n == 0) {return 0;}if ($n == 1) {return 1;}return fib($n-1) + fib($n-2); }
我们声明斐波那契函数。它只假定有效的正整数输入。(不要指望这个方法适用于大数字,它可能是最慢的递归实现)。
RPC服务器rpc_server.php的代码如下:
1 <?php 2 3 require_once __DIR__ . '/vendor/autoload.php'; 4 use PhpAmqpLib\Connection\AMQPStreamConnection; 5 use PhpAmqpLib\Message\AMQPMessage; 6 7 $connection = new AMQPStreamConnection('localhost', 5672, 'guest', 'guest'); 8 $channel = $connection->channel(); 9 10 $channel->queue_declare('rpc_queue', false, false, false, false); 11 12 function fib($n) 13 { 14 if ($n == 0) { 15 return 0; 16 } 17 if ($n == 1) { 18 return 1; 19 } 20 return fib($n-1) + fib($n-2); 21 } 22 23 echo " [x] Awaiting RPC requests\n"; 24 $callback = function ($req) { 25 $n = intval($req->getBody()); 26 echo ' [.] fib(', $n, ")\n"; 27 28 $msg = new AMQPMessage( 29 (string) fib($n), 30 array('correlation_id' => $req->get('correlation_id')) 31 ); 32 33 $req->getChannel()->basic_publish( 34 $msg, 35 '', 36 $req->get('reply_to') 37 ); 38 $req->ack(); 39 }; 40 41 $channel->basic_qos(null, 1, false); 42 $channel->basic_consume('rpc_queue', '', false, false, false, false, $callback); 43 44 try { 45 $channel->consume(); 46 } catch (\Throwable $exception) { 47 echo $exception->getMessage(); 48 } 49 50 $channel->close(); 51 $connection->close();
服务器代码相当简单:
- 像往常一样,我们首先建立连接、通道并声明队列。
- 我们可能希望运行多个服务器进程,为了将负载平均分配到多个服务器上,我们需要在$channel.basic_qos中设置prefetch_count设置。
- 我们使用basic_consume来访问队列。然后我们进入while循环,在该循环中等待请求消息,完成工作并将响应发送回来。
RPC客户端RPC_client.php的代码:
1 <?php 2 3 require_once __DIR__ . '/vendor/autoload.php'; 4 use PhpAmqpLib\Connection\AMQPStreamConnection; 5 use PhpAmqpLib\Message\AMQPMessage; 6 7 class FibonacciRpcClient 8 { 9 private $connection; 10 private $channel; 11 private $callback_queue; 12 private $response; 13 private $corr_id; 14 15 public function __construct() 16 { 17 $this->connection = new AMQPStreamConnection( 18 'localhost', 19 5672, 20 'guest', 21 'guest' 22 ); 23 $this->channel = $this->connection->channel(); 24 list($this->callback_queue, ,) = $this->channel->queue_declare( 25 "", 26 false, 27 false, 28 true, 29 false 30 ); 31 $this->channel->basic_consume( 32 $this->callback_queue, 33 '', 34 false, 35 true, 36 false, 37 false, 38 array( 39 $this, 40 'onResponse' 41 ) 42 ); 43 } 44 45 public function onResponse($rep) 46 { 47 if ($rep->get('correlation_id') == $this->corr_id) { 48 $this->response = $rep->body; 49 } 50 } 51 52 public function call($n) 53 { 54 $this->response = null; 55 $this->corr_id = uniqid(); 56 57 $msg = new AMQPMessage( 58 (string) $n, 59 array( 60 'correlation_id' => $this->corr_id, 61 'reply_to' => $this->callback_queue 62 ) 63 ); 64 $this->channel->basic_publish($msg, '', 'rpc_queue'); 65 while (!$this->response) { 66 $this->channel->wait(); 67 } 68 return intval($this->response); 69 } 70 } 71 72 $fibonacci_rpc = new FibonacciRpcClient(); 73 $response = $fibonacci_rpc->call(30); 74 echo ' [.] Got ', $response, "\n";
我们的RPC服务现已准备就绪。我们可以启动服务器:
php rpc_server.php # => [x] Awaiting RPC requests
要请求斐波那契数列,请运行客户端:
php rpc_client.php # => [x] Requesting fib(30)
这里提出的设计并不是RPC服务的唯一可能实现,但它有一些重要的优点:
- 如果RPC服务器太慢,您可以通过运行另一个服务器来扩展。尝试在新控制台中运行第二个rpc_server.php。
- 在客户端,RPC只需要发送和接收一条消息。不需要像queue_declare这样的同步调用。因此,对于单个RPC请求,RPC客户端只需要一次网络往返。
我们的代码仍然非常简单,并没有试图解决更复杂(但重要)的问题,比如:
- 如果没有服务器运行,客户端应该如何反应?
- 客户端是否应该为RPC设置某种超时?
- 如果服务器发生故障并引发异常,是否应将其转发给客户端?
- 在处理之前防止无效的传入消息(例如检查边界、类型)。
如果您想尝试,您可能会发现管理UI对于查看队列很有用。
官方链接:https://www.rabbitmq.com/tutorials/tutorial-six-php