云计算与大数据——MPI集群配置

什么是MPI集群？

MPI（消息传递接口）是一种用于编写并行程序的标准，它允许在多个计算节点上进行通信和协作。MPI集群配置是指在一个或多个计算节点上设置MPI环境以实现并行计算。

MPI集群配置的步骤：

硬件选型：选择适合你需求的硬件设备，包括主节点和计算节点。主节点负责协调计算节点之间的通信和任务分配，而计算节点执行实际的计算任务。

操作系统安装：为每个节点安装操作系统，常见的选择包括Linux、Windows服务器等。确保所有节点都能够相互访问，并具备网络连接功能。

MPI软件安装：选择一种MPI实现，如OpenMPI、MPICH等，并根据操作系统的要求在每个节点上安装相应的MPI软件。MPI库提供了一组用于并行计算的函数和工具，以便在节点之间进行通信和同步。

配置主节点：编辑主节点的MPI配置文件，通常是mpiexec或mpirun的配置文件，以指定运行MPI程序的方式。这可以包括指定计算节点的数量、启动脚本、进程分配等选项。

配置计算节点：对于计算节点，编辑其MPI配置文件以指定主节点的位置和其他必要的信息。此外，确保计算节点能够访问主节点和其他计算节点，以便进行通信。

测试MPI集群：编写一个简单的MPI程序，并在MPI集群上进行测试。确保MPI程序能够正确地在多个节点上并行执行，并且能够通过消息传递实现节点之间的数据交换和同步。

扩展集群规模（可选）：如果需要更多的计算能力，可以添加更多的计算节点到集群中。确保新的节点也安装了相应的MPI软件，并按照步骤4和5配置好。

下面我们来进行一个简单的MPI集群配置，希望对各位学习云计算和相关MPI集群知识有所帮助。

一、 用VMware Workstation Pro配置虚拟机并打开

这里我们选择用普通用户登陆
在这里插入图片描述

1. 保证网络畅通，设置各节点的固定IP，并重新启动网络服务。

配置master网络服务：

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
成功配置网络
ping www.baidu.com 成功！

在这里插入图片描述
配置host1网络服务：

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

成功配置网络
ping www.baidu.com 成功！

在这里插入图片描述
配置host2网络服务：

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
成功配置网络
ping www.baidu.com 成功！
在这里插入图片描述
2. 配置两台机器的hosts文件：主机名分别为master、host1和host2

命令：

vim /etc/hosts

在这里插入图片描述
命令：

vim /etc/hosts

在这里插入图片描述
修改master主机名：

vim /etc/hosname

在这里插入图片描述
命令：vim /etc/hosts
在这里插入图片描述
修改host1主机名：

vim /etc/hosname

在这里插入图片描述
命令：

vim /etc/hosts

在这里插入图片描述
修改host2主机名：

vim /etc/hosname

在这里插入图片描述
在这里插入图片描述

2. SSH免密登陆

ssh-keygen –t rsa 一路回车
在master,host1,host2分别
2.将公钥追加到authorized_keys文件中，命令：

  cat  ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

在master,host1,host2分别
所有节点都要设置
3.将公钥拷贝到其它机器
（1）master

 ssh-copy-id -i  ~/.ssh/id_rsa.pub host1
ssh-copy-id  -i  ~/.ssh/id_rsa.pub host2

在这里插入图片描述

重启ssh服务：

sudo systemctl restart sshd

在这里插入图片描述
master成功免密登陆host1：

ssh host1

在这里插入图片描述
(2)host1

ssh-copy-id  -i  ~/.ssh/id_rsa.pub master
ssh-copy-id  -i  ~/.ssh/id_rsa.pub host2

在这里插入图片描述
重启ssh服务：

sudo systemctl restart sshd

在这里插入图片描述
host1成功免密登陆host2：

ssh host2

在这里插入图片描述
(3)host2

ssh-copy-id  -i  ~/.ssh/id_rsa.pub master
ssh-copy-id  -i  ~/.ssh/id_rsa.pub host1

在这里插入图片描述

重启ssh服务：

sudo systemctl restart sshd

在这里插入图片描述
host2成功免密登陆host1：

 ssh host1

在这里插入图片描述

CentOS 7在安装时自动安装了ssh软件包，并配置了SSH服务。
三台机器ssh服务状态：

systemctl status sshd

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意，ssh免密登陆是用户对用户式的，所以在操作中要保证主节点终端和子节点的终端是对应的。
1）关闭各节点防火墙和Selinux
关闭：sudo systemctl stop firewalld
开机禁用：sudo systemctl disable firewalld
关闭Selinux：sudo setenforce 0
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2）服务端（master，建议取第一台主机）
（1）sudo yum -y install nfs-utils rpcbind #安装软件
（2）mkdir -p /opt/modules/mpi_share #创建共享目录
（3）chmod 777 /opt/modules/mpi_share -R #授予权限
在这里插入图片描述
（4）sudo vi /etc/exports #修改配置写入：

/opt/modules/mpi_share 192.168.95.25(rw,sync,no_root_squash) /opt/modules/mpi_share 192.168.95.26(rw,sync,no_root_squash)

在这里插入图片描述

192.168.95.25是子节点的地址，也可以是主机名，权限选项中的rw表示允许读写，视自己主机具体IP地址输入；ro为只读；sync表示同步写入，no_root_squash表示当客户机以root身份访问时赋予本地root权限。

sudo exportfs -rv

在这里插入图片描述
（5）sudo systemctl start rpcbind

sudo systemctl start nfs #启动nfs，或者设置为开机启动

在这里插入图片描述（6）sudo systemctl enable rpcbind

sudo systemctl enable nfs
showmount -e #查看NFS服务器端的共享目录

在这里插入图片描述
3）客户端（host1）
（1）sudo yum -y install nfs-utils rpcbind
（2）mkdir -p /opt/modules/mpi_share #将各个节点的共享目录位置和名字设置成一样的
（3）sudo systemctl start rpcbind
sudo systemctl start nfs #同样可以设置开机启动
（4）sudo systemctl enable rpcbind
（5）sudo mount -t nfs 192.168.95.20:/opt/modules/mpi_share /opt/modules/mpi_share #将服务器端共享目录挂载到本地文件夹
（6）或者永久挂载（可选）
vim /etc/fstab
添加192.168.95.20:/home/mpi_share /home/mpi_share nfs rw 0 0
在这里插入图片描述
4）客户端（host2）
（1）sudo yum -y install nfs-utils rpcbind
（2）mkdir -p /opt/modules/mpi_share #将各个节点的共享目录位置和名字设置成一样的
（3）sudo systemctl start rpcbind
sudo systemctl start nfs #同样可以设置开机启动
（4）sudo systemctl enable rpcbind
（5）sudo mount -t nfs 192.168.95.20:/opt/modules/mpi_share /opt/modules/mpi_share #将服务器端共享目录挂载到本地文件夹
（6）或者永久挂载（可选）
vim /etc/fstab
添加192.168.95.20:/home/mpi_share /home/mpi_share nfs rw 0 0
在这里插入图片描述
5. 安装配置mpich
1）安装编译器
yum install gcc gcc-c++ gcc-fortran kernel-devel -y # https://blog.csdn.net/wangzhouf/article/details/108222704
（yum install gcc g++ #mpich默认的编译器是gcc,g++和gfortran，但是yum命令找不到gfortran的安装包
#可以自行查找安装gfortran编译器的方法 作者：风干橘子皮- https://www.bilibili.com/read/cv15215061 出处：bilibili）
在这里插入图片描述
2）下载并安装mpi安装包
（1）创建目录并下载包

mkdir -p /opt/softwares
cd softwares
wget http://www.mpich.org/static/downloads/3.4.1/mpich-3.4.1.tar.gz

在这里插入图片描述
（2）解压

tar -zxvf mpich-3.4.1.tar.gz

在这里插入图片描述
（3）新建安装目录

mkdir -p /opt/modules/mpich-install

在这里插入图片描述
（4）进入下载目录并编译安装

cd /opt/softwares/mpich-3.4.1

./configure --disable-fortran --prefix=/opt/modules/mpich-install --with-device=ch4:ofi 2>&1 | tee c.txt

或：
./configure --disable-fortran //作者：风干橘子皮- https://www.bilibili.com/read/cv15215061 出处：bilibili
在这里插入图片描述

make

在这里插入图片描述

make install

在这里插入图片描述
3）配置环境
（1）

vim ~/.bashrc
export MPICH=/opt/modules/mpich-install
export PATH=$MPICH/bin:$PATH

在这里插入图片描述
在这里插入图片描述
（2）令环境变量生效

source ~/.bashrc

在这里插入图片描述
4）检查安装情况

mpirun -version

在这里插入图片描述
6.在每台主机上编译C程序
1）将C程序代码helloWorld.c上传到 每台主机的/opt/modules/mpi_share目录
2）cd /opt/modules/mpi_share`
3）先编写一个helloWorld.c和一个helloWorld2.c：
在这里插入图片描述

mpicc -o helloWorld helloWorld.c

在这里插入图片描述
在编写另一个helloWorld2.c:

#include "mpi.h" 
#include <stdio.h> 
#include <math.h> 
void main(argc,argv) 
int argc;
char *argv[]; 
{int myid, numprocs; int namelen;char processor_name[MPI_MAX_PROCESSOR_NAME]; MPI_Init(&argc,&argv);MPI_Comm_rank(MPI_COMM_WORLD,&myid); MPI_Comm_size(MPI_COMM_WORLD,&numprocs); MPI_Get_processor_name(processor_name,&namelen);fprintf(stderr,"Hello World! Process %d of %d on %s\n", myid, numprocs, processor_name);MPI_Finalize();
}

在这里插入图片描述
7.在master上运行：

mpirun -n 3 -host master,host1,host2 ./helloWorldmpirun -n 3 -host master,host1,host2 ./helloWorld2

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
当我们面对我们主要的矛盾时候，如果我们能够站在更高维度、更高层次去看待问题，我们将会发现新大陆，会有一种忽如一夜春风来，千树万树梨花开的感受，这对我们个人思维层面又一个巨大的提升，但是这个过程需要我们不断学习，不断历练，当达到一定层次的时候，量变就会发生质变。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/28498.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

C++--day3(内联函数、结构体、类、封装、this、构造函数、析构函数)

C++--day3(内联函数、结构体、类、封装、this、构造函数、析构函数)

#include <iostream>using namespace std;class My_stack { private:int *ptr; //指向堆区空间int top; //记录栈顶元素int size; public://有参构造My_stack(int size):ptr(new int[size]),top(-1){this->sizesize;cout<<"My_stack::有参构造&…
阅读更多...
Django MultiValueDictKeyError 表单数据用request.POST 非表单数据用request.body

Django MultiValueDictKeyError 表单数据用request.POST 非表单数据用request.body

表单数据&#xff1a;Content-Type(请求头)为application/x-www-form-urlencoded的数据。 用request.POST获取 a request.POST.get(a) a request.POST[a] alist request.POST.getlist(a) 非表单数据&#xff1a;Content-Type(请求头)为非application/x-www-form-urlenco…
阅读更多...
2023年郑州/杭州/深圳CSPM-3中级国标项目管理认证招生

2023年郑州/杭州/深圳CSPM-3中级国标项目管理认证招生

CSPM-3中级项目管理专业人员认证&#xff0c;是中国标准化协会&#xff08;全国项目管理标准化技术委员会秘书处&#xff09;&#xff0c;面向社会开展项目管理专业人员能力的等级证书。旨在构建多层次从业人员培养培训体系&#xff0c;建立健全人才职业能力评价和激励机制的要…
阅读更多...
【动态内存错误详解和C的内存分区】

【动态内存错误详解和C的内存分区】

常见的动态内存错误 1.动态内存错误2.经典案例分析2.1案例一2.1.1**问题分析**2.1.2**修改错误** 2.2案例二2.2.1 原因分析2.2.2 解决问题 c/c内存分布1.2 内存分区简介1.2.1 栈区(stack)1.2.2 堆区(heap)1.2.3 全局(静态)区1.2.4 常量区1.2.5 代码区 1.动态内存错误 &#xf…
阅读更多...
Argo CD 入门扫盲使用

Argo CD 入门扫盲使用

目录 一、什么是 argo cd 二、为什么使用 argo cd 三、argo cd 架构图 四、Argo CD 使用 1、安装 Argo CD 2、安装 Argo CD CLI 3、发布 Argo CD 服务 4、获取 Argo CD 密码 5、准备 Git 仓库 6、创建 Argo CD App 7、版本升级 8、版本回滚 一、什么是 argo cd A…
阅读更多...
STM32学习笔记（十三）丨USART通用同步/异步收发器（串口外设的基本使用丨串口发送数据、串口发送+接收数据）

STM32学习笔记（十三）丨USART通用同步/异步收发器（串口外设的基本使用丨串口发送数据、串口发送+接收数据）

本篇文章包含的内容 一、STM32的USART外设1.1 STM32的USAER外设简介1.2 USART外设的结构和工作原理1.3 串口通信数据帧1.4 起始位侦测和USART的噪声判断机制1.5 波特率发生器 二、串口发送和接收数据包2.1 HEX数据包2.2 文本数据包2.3 固定包长HEX数据包接收2.4 可变包长文本数…
阅读更多...
简单认识MySQL数据库日志和数据的备份恢复

简单认识MySQL数据库日志和数据的备份恢复

文章目录 Mysql 备份与还原一、数据备份的重要性二、数据库备份类型1 、物理备份2 、逻辑备份 三、常见的备份方法1、 物理冷备2、 专用备份工具 mysqldump 或 mysqlhotcopy3、 启用二进制日志进行增量备份3.4 第三方工具备份 四、MySQL完全备份1、简介2、优点&#xff1a;3、缺…
阅读更多...
SAP ABAP 报表程序实现下载文件及上传 Excel 并解析

SAP ABAP 报表程序实现下载文件及上传 Excel 并解析

步骤1&#xff1a; 事务代码 SMW0 选择二进制数据选项点击上方按钮。 点击新建按钮输入名称和描述&#xff0c;上传模版文件。 案例传入 EXCEL 如下&#xff1a; 创建好资源库对象结果如下。 步骤2&#xff1a;报表效果展示 点击按钮选择上传的文件。 解析 Excel 文件结果…
阅读更多...
visual studio配置调用c++ dll opencv为例

visual studio配置调用c++ dll opencv为例

1&#xff0c;配置VC目录&#xff0c;包含目录和库目录。 2&#xff0c;链接器->输入->包含目录 3&#xff0c;生成目录下包含对应的dll文件 4&#xff0c;需注意对应的Debug&#xff0c;Release及X86&#xff0c;X64选项
阅读更多...
创建型模式 - 建造者模式

创建型模式 - 建造者模式

概述 将一个复杂对象的构建与表示分离&#xff0c;使得同样的构建过程可以创建不同的表示。 分离了部件的构造(由Builder来负责)和装配(由Director负责)。 从而可以构造出复杂的对象。这个模式适用于&#xff1a;某个对象的构建过程复杂的情况。 由于实现了构建和装配的解耦。…
阅读更多...
Java基础---常用类大全以及各数据结构的方法大全

Java基础---常用类大全以及各数据结构的方法大全

目录 前言 一、Math类 二.Scanner类 三、String类、StringBuilder和StringBuffer类 &#x1f496;String类 &#x1f496;StringBuilder和StringBuffer 四.Arrays类 五.Random类 六.时间类 七.ArrayList顺序表 八、LinkedList与链表 九.Stack栈和Queue队列 十.Pri…
阅读更多...
SpringCloud Alibaba——Ribbon的属性配置和类配置优先级

SpringCloud Alibaba——Ribbon的属性配置和类配置优先级

目录 一、Ribbon的属性配置和类配置哪个优先级高二、Ribbon的属性配置和类配置优先级源码解读 一、Ribbon的属性配置和类配置哪个优先级高 类配置优先级高 二、Ribbon的属性配置和类配置优先级源码解读 通过RibbonClientConfiguration类中的ribbonRule方法可知&#xff0c;优…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023