Linux系统编程（六）高级IO-编程知识

1. 阻塞和非阻塞 IO

2. IO 多路转接（select、poll、epoll）

3. 存储映射 IO（mmap）

4. 文件锁（fcntl、lockf、flock）

5. 管道实例 - 池类算法

1. 阻塞和非阻塞 IO

阻塞 IO：会等待操作的完成或期待事情的到来。会被信号打断（信号会打断阻塞中的系统调用），若被打断则错误码为 EINTR（假错）。操作的完成和期待事件的到来会通知阻塞的进程。
非阻塞 IO：若操作未完成或期待的事情还没到来，则立即返回，不会等待。若未发生期待事件则返回错误码 EAGAIN（假错）。不会通知，但可以通过轮询查看状态。

有限状态机编程例子，中继引擎实现，实现不同 tty 设备之间的中继引擎，实现 tty 之间相互通信，但是是忙等（因为没有使用阻塞 IO，没有用到同步手段）：

1-io/advio/nonblock/relayer

2. IO 多路转接（select、poll、epoll）

上述有限状态机例子是 I/O 密集型任务，可以使用 IO 多路转接。

IO 多路转接：监视文件描述符的行为，当当前文件描述符发生了期待的行为的时候，才去执行后续的操作。可以监视多个文件描述符。

1. select() 可以用来监视多个文件描述符，包括可读、可写、异常文件描述符，移植性很好，比较古老，传参不稳定。以事件为单位来组织文件描述符。监视期间会阻塞，也会被信号打断（假错）。

#include <sys/select.h>int select(int nfds, fd_set *readfds, fd_set *writefds,fd_set *exceptfds, struct timeval *timeout);// 删除指定的fd
void FD_CLR(int fd, fd_set *set);
// 判断fd是否在集合中
int  FD_ISSET(int fd, fd_set *set);
// 将fd加入到集合中
void FD_SET(int fd, fd_set *set);
// 清空集合
void FD_ZERO(fd_set *set);

缺点：

监视内容和监视结果存放在同一处 readfds、writefds、exceptfds。
文件描述符有大小限制。

2. poll() 可以等待在文件描述上发生的特定事件，以文件描述符为单位来组织事件。把期待的事件 events 和已经发生的事件 revents 区分开来了，可以移植。

#include <poll.h>int poll(struct pollfd *fds, nfds_t nfds, int timeout);struct pollfd {int   fd;         /* file descriptor */short events;     /* requested events */short revents;    /* returned events */
};

如果将 timeout 设置为 0 即为非阻塞，-1 表示为阻塞。跳过 pollfd 结构体中的 events 来指定特定的期待事件。

3. epoll()，linux 基于 poll 来做的一些优化版本，不可移植。

#include <sys/epoll.h>// 打开一个epoll文件描述符
int epoll_create(int size);
int epoll_create1(int flags);// 控制epoll文件描述符
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);// 等待epoll文件描述符上的事件
int epoll_wait(int epfd, struct epoll_event *events,int maxevents, int timeout);
int epoll_pwait(int epfd, struct epoll_event *events,int maxevents, int timeout,const sigset_t *sigmask);

3. 存储映射 IO（mmap）

可以使用 readv(2) 和 writev(2) 来将读写多个碎片 buffer。

#include <sys/uio.h>ssize_t readv(int fd, const struct iovec *iov, int iovcnt);ssize_t writev(int fd, const struct iovec *iov, int iovcnt);

存储映射 IO 可以将某一块内存，或者某一个文件的内容映射到当前进程空间中。

1. mmap(2) 可以将文件或者设备映射到内存中，返回映射区域的起始地址。

#include <sys/mman.h>void *mmap(void *addr, size_t length, int prot, int flags,int fd, off_t offset);
int munmap(void *addr, size_t length);

参数：

addr：指定映射的虚拟内存地址，若为 NULL 则由内核选择合适的虚拟内存地址；
length：映射的长度；
prot：映射内存的保护模式，可选值如下：

PROT_EXEC：可以被执行；

PROT_READ：可以被读取；

PROT_WRITE：可以被写入；

PROT_NONE：不可访问；

flags：指定映射的类型，可选值如下：

MAP_FIXED：使用指定的起始虚拟内存地址进行映射；

MAP_SHARED：与其他所有映射到这个文件的进程共享映射空间（可实现共享内存）；

MAP_PRIVATE：建立一个写时复制（copy-on-write）的私有映射空间；

MAP_ANONYMOUS：匿名映射，可以替代 malloc，不依赖于任何文件，并且当前空间被初始化为 0；

.....

fd：进行映射的文件描述符；
offset：文件偏移量（从文件何处开始映射）；

例子1，mmap.c，使用 mmap 打开文件，并且计算文件中 a 字符出现的次数：

#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>int main(int argc, char *argv[])
{if (argc < 2){fprintf(stderr, "Usage..\n");exit(1);}int fd;void *addr;char *p;struct stat statbuf;int anum = 0;if ((fd = open(argv[1], O_RDONLY)) < 0){perror("open");exit(1);}if (fstat(fd, &statbuf) < 0){perror("fstat");exit(1);}addr = mmap(NULL, statbuf.st_size, PROT_READ, MAP_PRIVATE, fd, 0);if (addr == MAP_FAILED){perror("mmap()");exit(1);}p = (char *)addr;for (int i = 0; i < statbuf.st_size; i++){if (*(p + i) == 'a'){anum++;}}munmap(addr, statbuf.st_size);printf("the number of a in the file is: %d\n", anum);exit(0);
}

mmap 还能实现共享内存，从而实现有亲缘关系的进程间的通信。比如父进程先 mmap，然后再 fork，这样子进程也能访问父进程 mmap 出来的空间（flags 为 MAP_SHARED 和 MAP_ANONYMOUS）。

例子，share_mem.c，使用 mmap 实现父子进程间的共享内存（子进程写入 hello，父进程打印）：

#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <string.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/wait.h>#define MEMSIZE 1024int main()
{int fd;pid_t pid;char *addr;addr = (char *)mmap(NULL, MEMSIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);if (addr == MAP_FAILED){perror("mmap");exit(1);}pid = fork();if (pid < 0){perror("fork");exit(1);}if (pid == 0) // child{strcpy(addr, "Hello!");munmap(addr, MEMSIZE);exit(0);}else // parent{wait(NULL);puts(addr);munmap(addr, MEMSIZE);exit(0);}
}

4. 文件锁（fcntl、lockf、flock）

对文件加锁是在 inode 结构体上进行的，如果对一个文件描述符进行了 dup 或者重新 open 了新的文件描述符，对不同的文件描述符加锁和解锁都是作用于同一个 inode 的。有如下几种文件加锁方法：

fcntl() 前面讲过。Linux系统编程（二）文件IO/系统调用IO-CSDN博客

lockf() 可以对文件进行加锁或者解锁，在 linux 上 lockf 就是 fcntl 的封装。

#include <unistd.h>int lockf(int fd, int cmd, off_t len);

flock() 可以给打开的文件加上或移除咨询锁（advisory lock）。

#include <sys/file.h>int flock(int fd, int operation);

5. 管道实例 - 池类算法

例子：4-parallel/thread/mypipe。

Linux系统编程（李慧琴）: Linux系统编程（李慧琴）学习代码及笔记