前言
awk是一个非常棒的数据处理工具,相较于sed常常作用于一整行的处理,awk则比较倾向于一行当中分成数个字段来处理,因此,awk相当适合处理小型的文本数据。
一、awk工具介绍
1)AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。
2)它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描、过滤、统计汇总工作
3)数据可以来自标准输入也可以是管道或文件
4)之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
1.1、基本格式
awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)
1.2、工作原理
当读到第一行时,匹配条件,然后执行指定动作,再接着读取第二行数据处理,不会默认输出
如果没有定义匹配条件默认是匹配所有数据行,awk隐含循环,条件匹配多少次动作就会执行多少次
逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理,而awk比较、倾向于将一行分成多个""字段"然后再进行处理。awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符" &&"表示"与"、"||表示"或"、"!"表示非";还可以进行简单的数学运算,如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。
1.3、awk的内置变量
变量名称 | 含义 |
FS | 指定每行文本的字段分隔符,默认为空格或制表位 |
NF | 当前处理的行的字段个数 |
NR | 当前处理的行的行号(序数) |
$0 | 当前处理的行的整行内容 |
$n | 当前处理行的第 n 个字段(第 n 列) |
FILENAME | 被处理的文件名 |
RS | 行分隔符(awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录, 而awk一次仅读入一条记录,以进行处理。预设值是" \n' 简说:数据记录分隔,默认为\n,即每行为一条记录) |
二、用法示例:
为了可以跟好的做实验这边从/etc/passwd里面的数据调取了前10行打印了出来
第二种的查看方式:
2.1、打印文本内容
2.1.1、awk默认把这一行当做一列,因为没有被空格分隔,awk默认以空格或tab键分隔
2.1.2、冒号为分隔符显示分隔之后的第五列
2.1.3、用x作为分隔符
2.1.4、以冒号为分隔符打印第一和第五列,逗号有空格效果
2.1.5、用制表符作为分隔符输出
2.1.6、定义多个分隔符,只要看到其中一个都算作分隔符
2.1.7、awk的组合用法打印磁盘使用情况(用“|”管道符号)
2.2、awk常用内置变量
内置变量 | 含义 |
$1 | 代表第一列 |
$2 | 代表第二列以此类推 |
$0 | 代表整行 |
NF | 一行的列数 |
NR | 行数 |