Linux三剑客是Linux系统中最重要的三个命令，它们以其强大的功能和广泛的应用场景而闻名。这三个工具的组合使用几乎可以完美应对Shell中的数据分析场景，因此被统称为Linux三剑客。
1、grep
grep是一个强大的文本搜索工具，用于在文件内容中查找指定的字符串，并将匹配到的行输出到标准输出。grep命令支持多种选项和模式匹配，使得在文件中搜索特定内容变得非常灵活和高效。
文本搜索命令；
- 命令格式为：
grep "搜索的字符串" 文件名
1）基础
参数：
-c：统计出现的次数
-i：不区分大小写
-n：输出行号
2）实例
统计出现的次数
grep -c "xx" text.log
2、sed
sed是一个流编辑器，主要用于对输入流（或文件）进行基本的文本转换。它可以用来查找、新增、删除和修改替换文本中的数据。sed命令的强大之处在于它可以对文本进行非交互式的编辑，从而提高了处理大量文本的效率。
1）基本概念
sed是一种流编辑器，它是文本处理工具，支持正则表达式，通过一行一行的遍历，执行相应的命令，来处理、编辑文本文件。
（1）语法
sed [选项] ‘command’ 文件名称
选项部分，常见选项包括-n，-e，-i，-f，-r选项。
command部分包括：[地址1，地址2] [函数] [参数(标记)]
（2）命令格式为：
sed [-nefri] '命令' 文本
cat 文本 | sed [-nefr] '命令'
echo '.....' |sed [-nefr] '命令'
2）选项（nefri）
（1）选项-n
sed默认会把模式空间处理完毕后的内容输出到标准输出，也就是输出到屏幕上，加上-n选项后被设定为安静模式，也就是不会输出默认打印信息，除非子命令中特别指定打印选项，则只会把匹配修改的行进行打印。
（2）选项-e
如果需要用sed对文本内容进行多种操作，则需要执行多条子命令来进行操作。
（3）选项-i
sed默认会把输入行读取到模式空间，简单理解就是一个内存缓冲区，sed子命令处理的内容是模式空间中的内容，而非直接处理文件内容。因此在sed修改模式空间内容之后，并非直接写入修改输入文件，而是打印输出到标准输出。如果需要修改输入文件，那么就可以指定-i选项。
（4）选项-f
还记得 -e 选项可以来执行多个子命令操作，用分号分隔多个命令操作也是可以的，如果命令操作比较多的时候就会比较麻烦，这时候把多个子命令操作写入脚本文件，然后使用 -f 选项来指定该脚本。
（5）选项-r
sed命令的匹配模式支持正则表达式的，默认只能支持基本正则表达式，如果需要支持扩展正则表达式，那么需要添加-r选项。
3）命令（acdipynNs）
a新增，c取代，d删除，i插入,p打印，y将字符转成另一个字符等
[root@localhost sed]# cat message
1a
2b
3c
4d
5e
6f
abcdABCD
（1）a
子命令a表示在指定行下边插入指定行的内容。
#将message文件中每一行下边都插入添加一行内容是A
sed 'a A' message
#将message文件中1-2行的下边插入添加一行内容是A
sed '1,2a A' message
#将message文件中1-2行的下边分别添加3行，3行内容分别是A、B、C，这里使用了\n，插入多行内容都可以按照这种方式来实现。
sed '1,2a A\nB\nC' message
（2）i
子命令i和a使用上基本上一样，只不过是在指定行上边插入指定行的内容。
#将message文件中每一行上边都插入添加一行内容是A
sed 'i A' message
#将message文件中1-2行的上边插入添加一行内容是A
sed '1,2i A' message
#将message文件中1-2行的上边分别添加3行，3行内容分别是A、B、C，这里使用了\n，插入多行内容都可以按照这种方式来实现
sed '1,2i A\nB\nC' message
（3）c
子命令c是表示把指定的行内容替换为自己需要的行内容。
#将message文件中所有的行内容都分别替换为A行内容
sed 'c A' message
#将message文件中1-2行的内容替换为A，注意这里说的是将1-2行所有的内容只替换为一个A内容，也就是1-2行内容变成了一行，定址如果连续就是这种情况
sed '1,2c A' message
#将message中1-2行内容分别替换为了A，需要在替换内容上手动加换行\n，这样当然也可以将一行内容替换为多行内容
sed '1,2c A\nA' message
（4）d
子命令d表示删除指定的行内容，比较简单，更容易理解。
#将message所有行全部删除，因为没有加定址表达式，所以平时如果需要删除指定行内容，需要在子命令前加定址表达式
sed 'd' message
#将message文件中1-3行内容删除
sed '1,2d' message
（5）y
子命令y表示字符替换，可以替换多个字符，只能替换字符不能替换字符串，且不支持正则表达式，
#把message中所有a字符替换为A符号，所有b字符替换为B符号
sed 'y/aB/Ab/' message
（6）=
子命令=，可以将行号打印出来。
#将指定行的上边显示行号
sed '1,2=' message
（7）r
子命令r，类似于a，也是将内容追加到指定行的后边，只不过r是将指定文件内容读取并追加到指定行下边。
#将r.txt文件内容读取并插入到message文件第1行的下边
sed '1r r.txt' message
（8）s
子命令s为替换子命令，是平时sed使用的最多的子命令，没有之一。因为支持正则表达式，功能变得强大无比，下边来详细地说说子命令s的使用方法。
基本语法：
[address]s/pattern/replacement/flags
- flags
| flags | 说明 |
|---|---|
| n | 可以是1-512，表示第n次出现的情况进行替换 |
| g | 全局更改 |
| p | 打印模式空间的内容 |
| w file | 写入到一个文件file中 |
#b全局换成x
sed 's/b/x/g' message
4）实例
（1）test.txt的第一行前插入“a new line”
sed -i '1i\a new line' text.txt
（2）在第三行新增一行
sed -i '3a \a new line' text
3、awk
awk是一个文本处理工具，用于对文本或数据进行模式扫描和处理。它可以根据定位到的数据行处理其中的分段，并进行数据切片或执行其他操作。awk命令非常适合进行数据提取和报告生成等任务，是Linux系统中进行文本和数据处理的利器。
1）基本概念
awk是结构化数据处理程序；
awk是一门数处理领域的语言；
awk拥有c语言式的语法结构，例如print是语句，但不是函数；
（1）语法
awk [选项] '匹配规则和处理规则 ' [处理文本路径]
- 匹配规则主要是：正则表达式、字符串
- 处理规则主要是：设置变量、设置数组、定义函数（用的比较少）、数组循环、加减乘除运算、字符串拼接
（2）命令格式为：
awk [选项] 'BEGIN{定义1;定义2;}/模式/{操作1;操作2}END{操作1;操作2}' file1 file2
选项：如
-F:指定分隔符为:
BEGIN{} : BEGIN是在awk处理文本之前运行
/模式/ : 使用的匹配规则，模式为正则或者字符串
{} ：循环（每次只处理一行数据），如{print $1}打印第一列
END{} ：当所有的处理全部执行完毕之后，执行END中的相关操作
2）操作符：~、==、！=、>等
如：
#当前行匹配以a开头成功时则执行后面的打印
awk '/^a/ {print $1}'
上面正则匹配的范围是整行的内容，如果只想匹配指定字段的内容，则可以这样使用：
awk '$n~/^1/ {print $1}'
通过～符号规定了正则的匹配操作范围【这里是字段n】，～叫做匹配操作符
3）BEGIN和AND：
BEGIN里面可以打印一些字符串，或者定义变量（变量名="值" ，值不是数字的话，必须要用双引号括起来，引用变量的时候，变量前面是不要加$的）。
END里面可以打印一些字符串，或者进行最终的计算。如果在BEGIN里面没有定义变量的话，最终也可以引用这个变量的，只是变量值为空，在awk里面变量是可以不预先定义；
4）选项
| 参数 | 解释 |
|---|---|
| -F | 指定分割字段符 |
| -v | 定义或修改一个awk内部的变量 |
| -f | 从脚本文件中读取awk命令 |
5）常见变量：
| 内置变量 | 解释 |
|---|---|
| FS | 默认输入列分隔符（空格和tab） |
| OFS | 默认输出列分隔符（空格） |
| NF | 每行有几段（列）（print $NF代表打印最后一列） |
| RS | 默认输入行分隔符（\n） |
| ORS | 默认输出行分隔符（\n） |
| FILENAME | 当前所操作文件名称 |
| NR | 读取每行时当前的行号（对于合并文件来说，不同文件行号连续显示） |
| FNR | 读取每行时显示当前的行号（对于合并文件来说，不同文件行号不连续显示） |
$0：表示当前整行，$1表示第一个字段，$2表示第二个字段，$n 表示第n个字段；
6）判断：
7）实例
（1）默认分隔符是空格和tab，打印第二列
ps |awk '{print $2}'
（2）分隔符是冒号,打印第一、二列，并用空格分隔
awk -F ":" '{print $1,$2}' /etc/passwd
（3）分隔符是冒号,打印第一、二列，并用指定符号分隔
awk -F ":" '{print $1"--"$2}' /etc/passwd
（4）分隔符是冒号和逗号,打印第一、二列，并用指定符号分隔
awk -F "[:,]" '{print $1"--"$2}' /etc/passwd
（5）默认分隔符，打印以d开头的行的第一列
docker ps |awk '/^d/ {print $1}'
（6）默认分隔符，打印第n列以d开头的行的第一列
docker ps |awk '$n~/^d/ {print $1}'
（7）在打印前指定分隔符变量FS为冒号和逗号
awk 'BEGIN{FS="[:,]"}{print $1}' /etc/passwd
（8）在打印前指定分隔符变量FS为冒号和逗号,定义变量line
awk 'BEGIN{FS="[:,]";line=1}{print $line}' /etc/passwd
（9）定义变量sum计算和，每次输出计算结果，最终输出
awk 'BEGIN{FS="[,:]";sum=0}{sum+=$3;print sum}END{print "sum="，sum}' /etc/passwd
（10）打印当前文件名称
awk '{pring FILENAME}' /etc/passwd
参考：
[https://www.cnblogs.com/liwei0526vip/p/5644163.html]
