分布式Erlang/OTP(学习笔记)(一)

Erlang分布式基础

假设你在机器A和机器B上各跑着一个Simple Cache应用的实例。要是在机器A的缓存上插人一个键/值对之后,从机器B上也可以访问,那可就好了。显然,要达到这个目的,机器A必须以某种方式将相关信息告知给机器B。传递该信息的方式有很多,有些方式简单,有些方式复杂。但无论采用哪种方式,都涉及分布式,因为你需要进行跨机器通信。
Erlang极大地简化了某些类型的分布式编程,用不了几行代码,你瞬间就可以建立多台机器间的网络通信。这一切都以Erlang的两个基本特性为基础:

复制式进程通信;
位置透明性。

复制式进程间通信

在解决两段并发执行的代码段之间的通信问题时,最常用的模式就是让这两段代码共享某块内存,前提是它们都在同一台机器上运行。该通信模型如图所示。然而它有很多问题,其中之一是当你希望每段代码都运行在独立的机器上时,就必须换用一种完全不同的通信方式。代码中的很大一部分将被迫重写。

这类问题正是Erlang的缔造者们从一开始就要解决的问题。要想在通信透明化的同时构建出容错的系统,要想让一台机器不至于因为相邻机器的崩溃或机器间的网络故障而宕机,就必须抛弃共享。
相反,Erlang的进程间通信采用的是严格的异步消息传递(发送消息后无须等待网络上的确认),接收方收到数据时实际上获取了数据的一份独立的副本;此后接收方将无法感知发送方对数据所做的任何操作,反之亦然。后续的任何通信都必须借助额外的消息才能进行。无论是运行在同一台机器上的进程还是运行在不同机器上并通过网络互联的进程,这种模型都非常凑效。

.在Erlang中没有共享,只有消息传递,因此分布式还是单机本质上没有什么区别。大部分代码完全不用关心进程最终在何处运行。

然而在进行网络通信时仍然有很多需要注意的问题。在使用本地通信时,只要接收方进程还“活着”消息就一定能送达,而且几乎没有传输延迟。然而一旦涉足网络,就不得不考虑路由过程中的消息延迟以及网络本身的故障了。发送方通常无法辨别接收方到底是崩溃了还是因自身的bug而未能给出应答。出于健壮性考虑,即便是采用本地通信,发送方也应该对这些故障有所准备。但在分布式系统中总会存在多种导致不确定性行为的因素。

位置透明性

我们已经讲过,进程间的通信方式与接收方在本地机器上还是在远程机器上无关。这点在语法层面上仍然成立。以下是发送方向位于同一台机器上的接收方发送消息(本例中是个字符串)的语法:

Pid ! "my message"

然后再来看看怎么将同一条消息发向另一台机器:

Pid ! "my message"

二者一模一样:!(发送)运算符具有位置透明的属性—一接收方在哪台机器上并不重要,指引消息走向的信息统统都隐含在进程标识符之中了。Erlang会确保进程标识符在多机网络上的惟一性。这个属性使你可以无障碍地将程序的部署规模从一台机器扩展到数十台机器;你也可以反其道而行之,将那些原本部署在数十台机器上的程序集成到你的笔记本电脑上进行测试。
初看起来位置透明性好像没什么大不了的,然而你应该认识到,正是它大大释放了我们编程风格的自由度。当跨计算机通信的门槛不再那么陡峭,你终将获得翻越它的力量,并将之看作是习以为常的事情-─除非是出于某些特殊原因,否则你的进程完全可以运行在相互独立的多台机器上,这时你便可以开始设计在以前看来复杂得超乎想象的系统了。
这两个属性一复制式通信和位置透明性——使Erlang分布式编程真正成为了一件令人愉悦的事情。

节点与集群

先前我们故意模糊化了一个概念:我们所讨论的机器到底指的是什么呢?在很多场景下,一套硬件上只会运行一个Erlang VM;但有些时候--尤其是在测试和开发阶段,你需要在一台计算机上运行多个VM实例。按照目前启动erl(或werl)的方式运行起来的VM实例无从知晓也不关心其他实例的存在,因为它们之间并没有建立起网络连接。在单台计算机上运行多个基于Erlang的程序时(例如Yaws Web服务器和CouchDB数据库),这个模式是适用的。启用了网络功能之后,Erlang VM跑起来会更有意思。我们管这样的VM实例叫作节点。
一旦两个或两个以上的Erlang节点能够想瓦感知,我们就说它们形成了一个集群。(Erlang/OTP的官方文档通常称之为节点网络,我们不打算采用这个叫法,以免与计算机网络相混淆。)默认情况下,Erlang集群是一个全联通网络,如图所示。换言之,集群中的每个节点都能够感知其他所有节点,任意两个节点都可以直接通信。

节点的启动

只要给erl(或werl)加上命令行参数-name或-sname,就可以以分布式模式启动Erlang节点。第一种形式适用于配有DNS的普通网络环境,你需要给出节点的完全限定域名(fullyqualified domain names )。例如:

erl -name simple_cache

第二种形式适用于完全限定域名不可用的情况;在某些生产环境下这种环境也是很常见的。还有的时候,举个例子,同处一个无线局域网内的两台计算机可以互联,但偏偏用DNS就走不通。碰到这些情况时,你就只能用短节点名了:

erl -sname simple_cache

只要所有节点同处一个子网,你就可以使用短节点名。

节点的互联

Erlang集群由两个或两个以上的节点组成。就数量而言,在同一集群内启动几十个节点没什么问题,但要跑上几百个的话就比较悬了。其原因在于维系机器之间的联络是需要一定的通信开销的,而Erlang集群又是一个全联通网络,这样一来这部分开销会随节点数的增加按平方规模增长。
一个节点不会主动搭理其他节点。你必须给它们一个呼朋唤友的理由;然而一旦探测到了别的点,它便会持续追踪它们并与之交换已经和自己建立了连接的其他节点的信息,从而促成全联通网络的形成。例如,假设节点A和z组成了一个集群,c和Dp组成了另一个集群,如果A和D相遇,它们就会互相交换B和c的信息,最终4个节点会共同形成一个更大的网络。

Erlang节点如何定位其他节点并与之建立通信

检查一下系统中运行着的进程,看看其中有没有一个叫做EPMD的进程。
EPMD代表Erlang端口映射守护进程(Erlang Port Mapper Daemon )。你每启动一个节点,它都会检查本地机器上是否运行着EPMD,如果没有,节点就会自行启动EPMD。EPMD会追踪在本地机器上运行的每个节点,并记录分配给它们的端口。当一台机器上的Erlang节点试图与某远程节点通信时,本地的EPMD就会联络远程机器上的EPMD(默认使用TCP/IP,端口为4369),询问在远程机器上有没有叫相应名字的节点。如果有,远程的EPMD就会回复一个端口号,通过该端口便可直接与远程节点通信。不过EPMD不会自动搜寻其他EPMD—一只有在某个节点主动搜寻其他节点时通信才能建立。
请注意,Erlang默认的分布式模型基于这样一个假设,那就是集群中的所有节点都运行在一个受信网络内。如果这个假设不成立,或者其中的某些机器需要与外界通信,那么你就应该直接在TCP(或UDP、SCTP等)之上配合恰当的应用层协议来实现非受信网络上的通信。此外,你还可以利用SSL、SSH或IPsec等技术建立加密隧道,甚至直接将Erlang的分布式通信层架设在SSL等传输协议之上。








 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/413472.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网络协议与攻击模拟_04ICMP协议与ICMP重定向

ICMP协议是网络层协议, 利用ICMP协议可以实现网络中监听服务和拒绝服务,如 ICMP重定向的攻击。 一、ICMP基本概念 1、ICMP协议 ICMP是Internet控制报文协议,用于在IP主机、路由器之间传递控制消息,控制消息指网络通不通、主机是…

SpringBoot 启动优化实践!

背景 公司 SpringBoot 项目在日常开发过程中发现服务启动过程异常缓慢,常常需要 6-7 分钟才能暴露端口,严重降低开发效率。通过 SpringBoot 的 SpringApplicationRunListener 、BeanPostProcessor 原理和源码调试等手段排查发现,在 Bean 扫描…

K8s(一)Pod资源——Pod介绍、创建Pod、Pod简单资源配额

目录 Pod概述 pod网络 pod存储 pod和容器对比 创建pod的方式 pod运行方式分类 Pod的创建 Pod的创建过程 通过kubectl run来创建pod 通过yaml文件创建,yaml文件简单写法 Pod简单操作 Pod的标签labels Pod的资源配额resource 测试 Pod概述 Kubernetes …

docker部署Jira+配置MySQL8数据库

写在前面:如果你通过docker安装Jira且启动过,然后你现在又想使用mysql数据库,需要注意 你除了停掉原有容器,还需要删除:/var/lib/docker/volumes/jiraVolume/_data下的文件,否则启动后会无法正常使用。注意…

详解Vite创建Vue3项目+vue-router+ts+vite+element-plus

前言 在之前的文章中写过“Vue3TSElementPlus的安装和使用教程【详细讲解】”,但那篇文章写的是创建vue3的项目没有使用到Vite构建工具进行创建还是使用的常规webpacket构建工具进行创建的。提到Vite和webpacket的时候我们可以简单说一下。Vite 和 Webpack 都是现代…

iOS原生应用屏幕适配完整流程

1. 已iPhone 11 布局为设计布局,其他机型已这个来适配 2.变量与控件对应关系 txtViewer: txtAccount txtpwd seg btnOk 3.适配方法实现: //iOS屏幕适配 -(vo

IO网络5.0

思维导图 使用select实现TCP客户端的并发 #include <stdio.h> #include <string.h> #include <stdlib.h> #include <myhead.h>#define SER_PORT 8888 //服务器端口号 #define SER_IP "192.168.122.61" //服务器客户端//客户端TCP int ma…

Jumpserver中安装httpx

查看已安装的包 pip freeze # python -V # Python 2.7.5安装anyio 刚开始直接pip install httpx&#xff0c;未设置版本号&#xff0c;因已有idna2.7&#xff0c;所以出现版本不兼容的现象 anyio 3.0.0 requires idna>2.8, but you have idna 2.7 which is incompatible.…

【挖挖SRC】

一个SRC混子挖SRC的半年经验分享~,基本都是文字阐述&#xff0c;希望能给同样在挖洞的师傅们带来一点新收获。 前期信息收集 还是那句老话,渗透测试的本质是信息收集&#xff0c;对于没有0day的弱鸡选手来说&#xff0c;挖SRC感觉更像是对企业的资产梳理&#xff0c;我们往往…

JVM 四种引用和使用场景

一、前言 在JDK 1.2之后&#xff0c;Java对引用的概念进行了扩充&#xff0c;将引用分为强引用&#xff08;Strong Reference&#xff09;、软引用&#xff08;Soft Reference&#xff09;、弱引用&#xff08;Weak Reference&#xff09;、虚引用&#xff08;Phantom Referen…

2024.1.18 网络编程 作业

思维导图 练习题 1>TCP传输使用IO多路复用select完成客户端 #include <myhead.h> #define SER_PORT 8888 #define SER_IP "192.168.125.15" #define CLI_PORT 9999 #define CLI_IP "192.168.125.15" int main(int argc, char const *argv[]) {/…

深入解析JavaScript的原生原型

&#x1f9d1;‍&#x1f393; 个人主页&#xff1a;《爱蹦跶的大A阿》 &#x1f525;当前正在更新专栏&#xff1a;《VUE》 、《JavaScript保姆级教程》、《krpano》、《krpano中文文档》 ​ ​ ✨ 前言 在JavaScript中,除了自定义对象,还存在很多由JavaScript语言本身提供…