使用方法
awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)
例:
awk 'BEGIN{
print "start"
}
pattern{
commands
}
END{
print "end"
}' file(s) > output.txt
基本语法
模式与操作
- 模式
可以是以下任意一个:
- /正则表达式/:使用通配符的扩展集。
- 关系表达式:使用运算符进行操作,可以是字符串或数字的比较测试。
- 模式匹配表达式:用运算符(匹配)和!(不匹配)。
- BEGIN语句块、pattern语句块、END语句块:参见awk的工作原理
- 操作
操作由一个或多个命令、函数、表达式组成,之间由换行符
或分号
隔开,并位于大括号内,主要部分是:
- 变量或数组赋值
- 输出命令
- 内置函数
- 控制流语句
流程控制
内置变量
变 量 |
描述 |
$n |
当前记录的第n个字段,字段间由 FS分隔。 |
$0 |
完整的输入记录。 |
ARGC |
命令行参数的数目(argument count)。 |
ARGIND |
命令行中当前文件的位置(从0开始算)。 |
ARGV |
包含命令行参数的数组。(argument variable) |
FILENAME |
当前文件名。 |
NF |
当前记录中的字段数。(number of fields) |
NR |
当前记录数。(number of record) |
FNR |
同 NR,但相对于当前文件。(file number of record) |
FS |
字段分隔符(默认是任何空格)。(field seperator) |
OFS |
输出字段分隔符(默认值是一个空格)。(output field seperator) |
RS |
记录分隔符(默认是一个换行符)。(record seperator) |
ORS |
输出记录分隔符(默认值是一个换行符)。(output record seperator) |
OFMT |
数字的输出格式(默认值是%.6g)。(output format) |
CONVFMT |
数字转换格式(默认值为%.6g) |
ENVIRON |
环境变量关联数组。 |
ERRNO |
最后一个系统错误的描述。 |
FIELDWIDTHS |
字 段宽度列表(用空格键分隔)。 |
IGNORECASE |
如 果为真,则进行忽略大小写的匹配。 |
RSTART |
由 match函数所匹配的字符串的第一个位置。 |
RLENGTH |
由 match函数所匹配的字符串的长度。 |
SUBSEP |
数组下标分隔符(默认值是\034)。 |
内置函数
字符串函数
函数名 |
描述 |
sub |
匹配记录中最大、最靠左边的子字符串的正则表达式,并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的 时候 |
gsub |
整个文档中进行匹配 |
index |
返回子字符串第一次被匹配的位置,偏移量从位置1开始 |
substr |
返回从位置1开始的子字符串,如果指定长度超过实际长度,就返回整个字符串 |
split |
可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供,则按当前FS值进行分割 |
length |
返回记录的字符数 |
match |
返回在字符串中正则表达式位置的索引,如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置,RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串 |
toupper和tolower |
可用于字符串大小间的转换,该功能只在gawk中有效 |
数学函数
函数名 |
返回值 |
atan2(x,y) |
y,x 范围内的余切 |
cos(x) |
余弦函数 |
exp(x) |
求 幂 |
int(x) |
取整 |
log(x) |
自然对 数 |
rand() |
随机数 |
sin(x) |
正弦 |
sqrt(x) |
平 方根 |
srand(x) |
x是rand()函数的种子 |
int(x) |
取 整,过程没有舍入 |
rand() |
产生一个大于等于0而小于1的随机数 |
其他函数
函数名 |
描述 |
print |
普通打印,使用规定的分割符 |
printf |
格式化打印 |
system |
执行系统命令 |
关键字
关键字 |
描述 |
print |
普通输出,使用规定的分割符 |
printf |
格式化输出 |
system |
调用系统命令,传入字符串(双引号) |
与系统交互
打印系统命令执行结果
awk '{
a = system("ls");
"ls"; # 效果与system("ls")相同
print a;
}' test.txt
# 打印ls命令的标准输出,返回命令的执行结果(0或非0),赋值给变量a
获取系统命令标准输出
如果希望用变量接住系统命令的标准输出,则需要使用getline关键字
awk '{
"ls -l" | getline line ; # 多行的情况下,指获取一行
print line;
getline line
print line;
}' test.txt
# 打印ls命令的标准输出,返回命令的执行结果(0或非0),赋值给变量a
关于getline
当getline左右没有重定向符|或<时,getline读去当前文件的第一行并将数据保存到变量中,如果没有变量,则数据保存到$0中;
由于awk在处理getline之前已经读入了一行,所以getline得到的返回结果是隔行的。
当getline左右有重定向符|或<时,getline作用于定向输入文件,由于该文件是刚打开,awk并没有读入一行数据,而getline读入了一行数据,那么getline返回的是该文件的第一行,而不是隔行。
awk和getline是分别取数据文件中的行数据,而且是awk首先从数据文件中取数据,后getline取下一行数据。
getline的影响值
形式 |
影响值 |
getline |
$0,NF,NR,FNR |
getline var |
var,NR,FNR |
getline<file |
1…$NF,NF |
getline var<file |
var |
cmd | getline |
$0,NF |
cmd | getline var |
var |
参考