IPC之十：使用共享文件进行进程间通信的实例

IPC 是 Linux 编程中一个重要的概念，IPC 有多种方式，常用的 IPC 方式有管道、消息队列、共享内存等，但其实使用广大程序员都熟悉的文件也是可以完成 IPC 的，本文介绍如何使用共享文件实现进程间通信，本文给出了具体的实例，并附有完整的源代码；本文实例在 Ubuntu 20.04 上编译测试通过，gcc版本号为：9.4.0；本文的实例中涉及多进程编程、文件锁等概念，所以对 Linux 编程的初学者有一些难度，但对于了解 Linux 下共享文件，特别是文件锁的应用，将是非常难得的。

1 使用共享文件实现IPC的基本概念

  • 文件操作是一个程序员的必备技能，相比较 IPC 的各种方法(比如：管道、消息队列、共享内存等)，程序员显然更熟悉文件的操作；

  • 那么，能不能使用文件实现进程间通信呢？答案时肯定的，多个进程共享一个文件同样可以完成进程间通信；

  • 首先描述一个场景：

    • Server/Client 模式，一个服务端进程，三个客户端进程；
    • 进程间通信时，以每个进程的 PID 作为通信地址的唯一标识
    • 客户端只与服务端进程进行通信，客户端进程之间不进行通信；

  • 使用共享文件实现 IPC，其实就是发送方将消息写入文件，接收方再从相同的文件中读出，看起来十分简单，但在多进程环境中，并不像看起来的那么简单；

  • 使用共享文件进行 IPC 时，有两个比较麻烦的地方，一个是文件指针，另一个是文件锁机制；

  • 先说文件指针问题：

    • 当一个文件被打开时，其文件指针的偏移为 0，当读出 10 个字节时，其文件指针偏移将增加 10；
    • 写入文件时，会从当前文件指针处写入文件，当写入 10 个字节后，其文件指针偏移将增加 10；
    • 一般读出需要从文件头顺序读取，但是写入需要向文件的尾部写入，所以如果一个进程中对同一个共享文件既有读操作又有写操作时，文件指针将比较混乱；
    • 这种混乱还表现在可能还有其它进程对共享文件进行写操作，导致你期望的文件指针与实际有所不同；
    • 为了避免这种文件指针的混乱，通常在一个进程中对同一个共享文件仅做读操作或者仅做写操作；
    • 对于我们上面描述的 IPC 场景，服务端需要接收客户端的消息并做出回应，通常我们要使用两个共享文件，一个文件服务端仅做读操作，客户端仅做写操作，用于客户端向服务端传递消息，另一个文件服务端仅做写操作，客户端仅做读操作，用于服务端向客户端传递消息；

  • 再说文件锁机制：

    • 当多个进程同时对一个文件进行写操作时，很明显是会有冲突的，假定进程 1 要写入 100 个字节，进程 2 要写入 50 个字节，可能进程 1 写入完 30 个字节时，产生了进程调度，使进程 2 开始向文件写入数据，从而导致写入数据的混乱；
    • 当一个进程对文件进行写入操作时，如果有另一个进程正在读数据，也是有冲突的，假定写进程要写入 100 个字节，写入 30 个字节时，产生进程调度，读进程开始读文件，读出了刚刚写入的 30 个字节，而这 30 个字节是要写入的 100 个字节中的一部分，是不完整的数据；
    • 所以，当一个进程对一个共享文件进行写操作时，需要独占该文件，也就是同时不能有其它进程对该文件进行读写操作；
    • 当一个进程对一个文件进行读操作时，当然不能允许有其它进程进行写操作，但可以允许其它进程进行读操作；
    • 这种对文件的占有机制又叫做文件锁机制，我们在下一节会做专门的介绍；

  • 使用共享文件进行 IPC 并不是一种常用的方式，在编程实践中很少这样去做，其实际运行时是有真实的文件 I/O 发生的，也就是其通信过程会真实的写入到文件系统中，如果通信频繁、信息量大且持续时间长，有可能在磁盘上产生一个很大的物理文件；

  • 很显然，使用共享文件进行 IPC 的运行效率也是不高的，但仍然不失为一种 IPC 方法，而且相关的编程实践对理解 Linux 的共享文件及文件锁机制将会非常有帮助。

2 文件锁及其操作

  • fcntl() 函数可以对文件进行加锁操作；

  • fcntl() 可以对一个文件描述符做很多操作，在此，我们仅介绍其符合 POSIX 标准部分，与文件“锁”相关的调用方法；

  • 下面是 fcntl() 的调用方法：

    #include <unistd.h>
#include <fcntl.h>int fcntl(int fd, int cmd, ... /* arg */ );

  • fcntl() 是一个不定参数的调用函数，但对于 POSIX 的文件锁而言，它只有三个参数：

    int fcntl(int fd, int cmd, (struct flock *)lock);

  • 在这个调用中，fd 是一个已经打开的文件描述符，cmd 是要执行的命令；

  • POSIX 与文件锁相关的命令有三个：

    • F_SETLK：获取文件锁或者释放文件锁，如果文件锁已被其它进程占有会立即返回错误；
    • F_SETLKW：执行与 F_SETLK 相同的指令，但当文件锁被其它进程占有时，会产生阻塞，直到获得该文件锁；
    • F_GETLK：获取当前文件锁状态；

  • 其中，struct flock 的定义如下：

    struct flock {short l_type;   /* Type of lock: F_RDLCK, F_WRLCK, F_UNLCK */short l_whence; /* How to interpret l_start: SEEK_SET, SEEK_CUR, SEEK_END */off_t l_start;  /* Starting offset for lock */off_t l_len;    /* Number of bytes to lock */pid_t l_pid;    /* Process holding the lock. */
};
    • POSIX 文件锁可以分为读文件锁和写文件锁两种；
    • POSIX 规定文件锁可以仅锁定文件中的一部分，而不是锁定整个文件，struct flock 结构不仅定义了锁的类型，同时，l_start 和 l_len 两个字段还定义了文件中那一部分被这个文件锁锁定；
    • l_type：锁类型，F_RDLCK - 读文件锁，F_WRLCK - 写文件锁，F_UNLCK - 释放文件锁；
    • l_start、l_len：该文件锁仅锁定从偏移量 l_start 开始，长度为 l_len 字节的区域，l_len 为 0 表示从 l_start 开始到文件结束；
    • l_whence：l_start 偏移量计算的起始位置，可以有三个选项：
      • SEEK_SET：从文件的开始计算 l_start 的偏移量，此时 l_start 必须是一个正整数；
      • SEEK_CUR：从当前文件指针处计算 l_start 的偏移量，此时，l_start 可以为负整数，但不能跑到文件起始位置之前；
      • SEEK_END：从文件尾部计算 l_start 的偏移量，此时，l_start 为负整数或者 0；
    • l_pid：在调用 F_GETLK 获取当前文件锁状态时，如果文件锁被其它进程占用，该字段将返回占用文件锁的进程号；

  • 在大多数的应用中，无需仅锁定文件的一部分，锁定整个文件即可，也就是 l_wence=SEEK_SET; l_start=0; l_len=0；

  • 下面代码片段在文件 fd 上获取写文件锁：

    ......
struct flock lock;lock.l_tyepe = F_WRLCK;
lock.l_wence = SEEK_SET;
lock.l_start = 0;
lock.l_len = 0;fcntl(fd, F_SETLKW, &lock);
......

  • 下面代码片段释放了一个文件锁：

    ......
struct flock lock;lock.l_tyepe = F_UNLCK;
lock.l_wence = SEEK_SET;
lock.l_start = 0;
lock.l_len = 0;fcntl(fd, F_SETLKW, &lock);
......

  • 命令 F_SETLK 和 F_SETLKW 的唯一区别是一个不阻塞直接返回，另一个阻塞直到获得所请求的文件锁；

  • man fcntl 可以查看该函数的在线手册；

3 实例

  • 正如第 1 节中描述的场景一样，该实例建立一个服务端进程，三个客户端进程，模拟一个 client/server 架构的服务过程；

  • 正如第 1 节介绍的一样，需要使用两个共享文件实现客户端进程与服务端进程之间的通信，从服务端进程看，一个文件用于服务端读取客户端的消息，另一个文件用于服务端向客户端发送消息；

  • 两个共享文件由服务端进程建立，服务端进程要最先开始运行，否则客户端进程无法打开共享文件；

  • 整个通信过程以每个进程的进程号作为唯一地址标识，当目的进程号为 0 时表示是一条广播消息，所有进程都要接收并处理；

  • 客户端进程启动时，需要知道服务端进程的 PID 才可以与服务端进行通信，此时要发出一条广播消息，服务端进程收到后回应一条消息从而建立通信通道；

  • 客户端在空闲时循环向服务端发送一个字符串，服务端在收到后回应一个确认消息，模拟一个服务端为客户端提供服务的过程；

  • 服务端向多个客户端进程发送消息时使用同一个共享文件，所以每个客户端进程要具备过滤地址的功能，即：只保留发给自己的消息，丢弃发给其它客户端进程的消息；

  • 因为多个客户端进程都要向同一个共享文件中写入数据(即向服务端发送消息)，每次写入时应该写在文件的尾部，但对每个进程而言，当前的文件指针不一定是在文件的尾部，所以在获取了文件写入锁以后，需要将文件指针移动的文件的尾部才能写入数据；

  • 为了通信方便，在传送信息时，所有进程使用下面的统一结构：

    struct ipc_msg {int len;            // total length including itselfint src_pid;        // source PIDint dest_pid;       // destination PIDuint seq_num;       // sequence number of the current messageushort cmd;         // command codechar msg[1];        // the auxiliary information
};

  • len 为整个信息的总长度，包括 len 字段自身，接收端首先接收该字段，然后确定该信息后面还需要读取的字节数，再一次性地读取完整个结构；

  • src_pid 为发送该信息的进程 PID；

  • dest-pid 为接收该信息的进程 PID，当该字段为 0 时，表示该信息为广播消息，所以，一个进程应该接收该字段为自身 PID 或者该字段为 0 的消息，并丢弃其它消息；

  • cmd 表示该信息的含义，目前有五个可选值：

    1. CMD_SERVER_ONLINE - 表示服务端在线，客户端在启动后并不知道服务端进程的 PID，所以应该周期性地广播 CMD_SERVER_STATUS 消息，服务端进程收到该广播消息后，向相应的客户端进程发送 CMD_SERVER_ONLINE 消息，客户端收到该消息便可获知服务端进程的 PID，从而建立通信通道；
    2. CMD_SERVER_OFFLINE - 表示服务端离线，当服务端准备退出时，广播该信息，客户端在收到该消息时，应主动退出；
    3. CMD_SERVER_STATUS - 客户端进程启动后广播该信息，服务端进程收到该信息应回复 CMD_SERVER_ONLINE，从而使客户端获得服务端进程的 PID；
    4. CMD_STRING - 客户端在空闲时定期向服务端进程发送一个字符串，以模拟客户端进程向服务端进程请求服务的过程，发送此消息时，字符串应放在 msg 字段中，所以这个消息的长度是不定长的，在实际的应用中，这个字符串可以是一个 json 数据，可以实现复杂的服务请求；
    5. CMD_STRING_OK - 服务端在收到客户端进程发送的 CMD_STRING 消息后，回应一个 CMD_STRING_OK 消息，模拟对客户端请求服务的响应；

  • 各个进程在向共享文件写入数据时，均要求以 struct ipc_msg 格式写入，分下面几个步骤完成：

    1. 为 struct ipc_msg 分配内存，如果有 ipc_msg.msg 字段，则分配的内存要包含 ipc_msg.msg 字符串的长度；
    2. 计算整个消息的长度，长度应包括 ipc_msg.msg 最后的 \0 字符，将消息长度填写到 ipc_msg.len 字段中；
    3. 将当前进程的 PID 写入到 ipc_msg.src_pid 字段；
    4. 将接收进程的 PID 写入到 ipc_msg.dest_pid 字段，如果是广播消息，该字段填 BROADCAST_PROCESS_ID；
    5. 将消息序列号写入到 ipc_msg.seq_num 字段，
    6. 根据情况填写 ipc_msg.cmd 字段；
    7. 如果有 ipc_msg.msg，将字符串写入 ipc_msg.msg 中；
    8. 将 struct ipc_msg 写入共享文件；
    9. 释放为 struct ipc_msg 分配的内存；

  • 各进程在读入数据时，要遵循下面步骤：

    1. 首先读取一个 int，此为 struct ipc_msg 中的 len 字段，然后根据 len 字段的值读取剩余的数据；
    2. 检查 dest_pid 字段是否为自身的 PID 或者 BROADCAST_PROCESS_ID，否则丢弃该消息，转到步骤 1 读取下一个消息；
    3. 根据消息内容做出回应；

  • 源程序：ipc-files.c(点击文件名下载源程序)演示了如何使用共享文件实现进程间通信；

  • 编译：gcc -Wall -g ipc-files.c -o ipc-files

  • 运行：./ipc-files

  • 运行动图：

    screenshot of running ipc-files

欢迎订阅 『进程间通信专栏』

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/300381.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

AssertionError: The environment must specify an action space. 报错 引发的惨案

AssertionError: The environment must specify an action space. 报错 引发的惨案

起因是&#xff1a;从github上下载了一个代码&#xff0c;运行出错。 整体流程&#xff1a; 1. AssertionError: The environment must specify an action space. 报错&#xff0c;解决方案是 降级gym到 gym0.18.0 2.为了降级gym gym0.18.0 报错&#xff0c;发现需要降级 setup…
阅读更多...
Android---Kotlin 学习009

Android---Kotlin 学习009

继承 在 java 里如果一个类没有被 final 关键字修饰&#xff0c;那么它都是可以被继承的。而在 kotlin 中&#xff0c;类默认都是封闭的&#xff0c;要让某个类开放继承&#xff0c;必须使用 open 关键字修饰它&#xff0c;否则会编译报错。此外在子类中&#xff0c;如果要复写…
阅读更多...
助力打造清洁环境，基于YOLOv7开发构建公共场景下垃圾堆放垃圾桶溢出检测识别系统

助力打造清洁环境，基于YOLOv7开发构建公共场景下垃圾堆放垃圾桶溢出检测识别系统

公共社区环境生活垃圾基本上是我们每个人每天几乎都无法避免的一个问题&#xff0c;公共环境下垃圾投放点都会有固定的值班时间&#xff0c;但是考虑到实际扔垃圾的无规律性&#xff0c;往往会出现在无人值守的时段内垃圾堆放垃圾桶溢出等问题&#xff0c;有些容易扩散的垃圾比…
阅读更多...
二维码智慧门牌管理系统：提升社区管理智能化水平

二维码智慧门牌管理系统：提升社区管理智能化水平

文章目录 前言一、全方位信息录入与查询二、公安权限账户访问的公安大数据后台三、社区工作人员申请权限安装录入软件四、业主通过移动终端扫描标准地址二维码门牌自主申报录入五、系统的价值 前言 在数字化时代&#xff0c;社区管理面临着更新流动人口信息、准确录入六实相关…
阅读更多...
Jupyter Notebook的安装及在网页端和VScode中使用教程（详细图文教程）

Jupyter Notebook的安装及在网页端和VScode中使用教程（详细图文教程）

目录 一、Jupyter Notebook1.1 组成组件1.2 优点1.3 常规用途 二、安装及使用2.1 网页端2.1.1 安装Jupyter Notebook2.1.2 检验是否安装成功2.1.3 启动Jupyter Notebook2.1.4 使用Jupyter Notebook 2.2 VScode中安装及使用2.2.1 安装Jupyter2.2.2 使用Jupyter 三、常用命令3.1 …
阅读更多...
SpringBoot Event，事件驱动轻松实现业务解耦

SpringBoot Event，事件驱动轻松实现业务解耦

什么是事件驱动 Spring 官方文档AWS Event Driven 简单来说事件驱动是一种行为型设计模式&#xff0c;通过建立一对多的依赖关系&#xff0c;使得当一个对象的状态发生变化时&#xff0c;所有依赖它的对象都能自动接收通知并更新。即将自身耦合的行为进行拆分&#xff0c;使拆…
阅读更多...
Rancher小白学习之路

Rancher小白学习之路

官网&#xff1a;http://docs.rancher.cn/docs/rancher1/rancher-service/load-balancer/_indexhttp://docs.rancher.cn/docs/rancher1/rancher-service/load-balancer/_indexRancher2.5集群搭建&K3S生产环境搭建手册 - 知乎 【rancher教程】十年运维大佬两小时带你搞定ran…
阅读更多...
Django-REST-Framework 如何快速生成Swagger, ReDoc格式的 REST API 文档

Django-REST-Framework 如何快速生成Swagger, ReDoc格式的 REST API 文档

1、API 接口文档的几种规范格式 前后端分离项目中&#xff0c;使用规范、便捷的API接口文档工具&#xff0c;可以有效提高团队工作效率。 标准化的API文档的益处&#xff1a; 允许开发人员以交互式的方式查看、测试API接口&#xff0c;以方便使用将所有可暴露的API接口进行分…
阅读更多...
C语言字符串处理提取时间(ffmpeg返回的时间字符串)

C语言字符串处理提取时间(ffmpeg返回的时间字符串)

【1】需求 需求&#xff1a;有一个 “00:01:33.90” 这样格式的时间字符串&#xff0c;需要将这个字符串的时间值提取打印出来&#xff08;提取时、分、秒、毫秒&#xff09;。 这个时间字符串从哪里来的&#xff1f; 是ffmpeg返回的时间&#xff0c;也就是视频的总时间。 下…
阅读更多...
CMMI-项目总体计划模版

CMMI-项目总体计划模版

目录 1、总体目录结构 2、重点章节概要示例 2.1 第四章 项目管理 2.2 第六章 实施与交付计划 2.3 第七章 运维计划 1、总体目录结构 2、重点章节概要示例 2.1 第四章 项目管理 2.2 第六章 实施与交付计划 2.3 第七章运维计划
阅读更多...
Mybatis如何兼容各类日志？

Mybatis如何兼容各类日志？

文章目录 适配器模式日志模块代理模式1、静态代理模式2、JDK动态代理 JDBC Logger总结 Apache Commons Logging、Log4j、Log4j2、java.util.logging 等是 Java 开发中常用的几款日志框架&#xff0c;这些日志框架来源于不同的开源组织&#xff0c;给用户暴露的接口也有很多不同…
阅读更多...
网络安全保障领域

网络安全保障领域

计算机与信息系统安全---最主要领域 云计算安全 IaaS、PasS、SaaS(裸机&#xff0c;装好软件的电脑&#xff0c;装好应用的电脑) 存在风险&#xff1a;开源工具、优先访问权、管理权限、数据处、数据隔离、数据恢复、调查支持、长期发展风险 云计算安全关键技术&#xff1a;可信…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023