解决系统too many open files

.背景

• nofile不足引起的too many open files故障报警频繁出现

2.文件描述符的定义与功能

• 文件描述符在形式上是一个非负整数。实际上，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。

当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。在程序设计中，一些涉及底层的程序编写往往会围绕着文件描述符展开。

• 简单来说，在Linux 系统中，一切都看做是文件，当进程打开现有文件或创建新文件时，内核向进程返回一个文件描述符，

文件描述符就是内核为了高效管理已被打开的文件所创建的索引，用来指向被打开的文件，所有执行I/O操作的系统调用都会通过文件描述符。

3.file-max nr_open nofile 参数之间关系

配置参数	级别	配置含义	配置路径
fs.file-max	系统级别	当前系统可打开最大文件描述符的数量	/etc/sysctl.conf
fs.nr_open	进程级别（不可按用户细化配置）	单个进程可打开最大文件描述符的数量	/etc/sysctl.conf
hard nofile	进程级别（可以按照用户细化配置）	单个进程可打开最大文件描述符的数量， 强限制，该值需要始终保持大于等于soft。	/etc/security/limits.conf
soft nofile	进程级别（可以按照用户细化配置）	单个进程可打开最大文件描述符的数量， 软限制，该值需要始终保持小于等于hard。	/etc/security/limits.conf

 

结论：

1、file-max ≥ nr_open ≥ hart nofile ≥ sofe nofile，如果是root用户不受限于file-max，但是

2、nofile 和 fs.nr_open 都是限制的单个进程的最大文件数量。二者区别是/etc/security/limits.conf 中的nofile可以继续按照用户维度进行细化配置，而 fs.nr_open 则只能针对所有用户。

3、nofile soft 需要小于等于nofile hard，

4、内存和nofile存在一定的线性关系，早期内存很小，所以nofile配置1024，现在内存配置都很高，完全足够支持很大量级的打开文件数，倘若系统真的出现瓶颈，首当其冲的也会是其他资源类型，所以为了方便管理，可以将file-max 、nr_open、hard nofile 、soft nofile都配置成一个较高的值，如需调整，也均一起保持相同数值统一调整。

⚠️注意：修改完所有配置之后，只对新启动的进程生效，修改配置之前的进程不生效，需要重启进程才能使用新的配置！！

4.常用命令

4.1.查看nofile

# 查看当前系统的最大打开文件数

$ cat /proc/sys/fs/file-max

1024000

# 查看一个进程最大打开文件数，该文件是只读权限，此值实际来源于/etc/sysctl.conf，如果未定义，则该值默认为1048576, 如果在sysctl.conf重新定义该值并通过sysctl -p生效后，可以通过cat /proc/sys/fs/nr_open查看最新值。

$ cat /proc/sys/fs/nr_open

1048576

# 查看当前系统已经打开的句柄

# 输出三列信息，第一列代表全局已经分配的文件描述符数量，第二列代表已分配未使用的文件描述符，第三列代表系统总的文件描述符的数量。

$ cat /proc/sys/fs/file-nr

2176 0 1024000

#统计进程pid与文件句柄数的关系

$ lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr

# 统计各用户打开句柄数

$ lsof -n|awk '{print $3}'|sort|uniq -c|sort -nr

# 统计各命令打开句柄数

$ lsof -n|awk '{print $1}'|sort|uniq -c|sort -nr

4.2.修改nofile

# 永久设置file-max和nr_open，sysctl.conf需要root权限才能修改。

$ sudo -i

$ vim /etc/sysctl.conf

fs.file-max = 1024000

fs.nr_open= 1024000

$ sysctl -p

# 永久设置soft ,hard nofile

# *代表所有用户，也可以针对其他普通用户做配置

$ vim /etc/security/limits.conf

* soft nofile 1024000

* hard nofile 1024000

# 临时设置soft ,hard nofile

$ ulimit -S 1024000