一.工作原理和基本用法
linux中使用的是gawk
功能:
文本处理
输出格式化的文本报表
执行算数运算
执行字符串操作
格式:
awk [options] 'program' var=value file…
awk [options] -f programfile var=value file…
注:
program通常是被放在单引号中，并可以由三种部分组成:
BEGIN语句块
模式匹配的通用语句块
END语句块
常用选项:
-F “分隔符” 指明输入时用到的字段分隔符，默认的分隔符是若干个连续空白符
-v var=value 变量赋值
Program格式：
pattern{action statements;..}
注:
pattern：决定动作语句何时触发及触发事件，比如：BEGIN,END,正则表达式等
action statements：对数据进行处理，放在{}内指明，常见：print, printf
工作过程逻辑:
第一步：执行BEGIN{action;… }语句块中的语句
第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，它逐行扫描文件，
从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
第三步：当读至输入流末尾时，执行END{action;…}语句块
BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总
都是在END语句块中完成，它也是一个可选语句块
pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行{
print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块
分割符、域和记录
由分隔符分隔的字段（列column,域field）标记
2...
0为所有域，注意：和
shell中变量0 的操作
常用的action分类
output statements：print,printf
Expressions：算术，比较表达式等
Compound statements：组合语句
Control statements：if, while等
input statements
awk控制语句
{ statements;… } 组合语句
if(condition) {statements;…}
if(condition) {statements;…} else {statements;…}
while(conditon) {statments;…}
do {statements;…} while(condition)
for(expr1;expr2;expr3) {statements;…}
break
continue
exit
二.动作 print
格式:
print item1, item2, ...
说明:
逗号分隔符
输出item可以字符串，也可是数值；当前记录的字段、变量或awk的表达式
如省略item，相当于print $0
固定字符符需要用“ ” 引起来，而变量和数字不需要
三.awk 变量
awk中的变量分为：内置和自定义变量
1.常见的内置变量
①FS:输入字段分隔符，默认为空白字符,功能相当于 -F
②OFS：输出字段分隔符，默认为空白字符
③RS：输入记录record分隔符，指定输入时的换行符
④ORS：输出记录分隔符，输出时用指定符号代替换行符
⑤NF：字段数量
⑥NR：记录的编号
⑦FNR：各文件分别计数，记录的编号
⑧FILENAME：当前文件名
⑨ARGC：命令行参数的个数
⑩ARGV：数组，保存的是命令行所给定的各参数，每一个参数：ARGV[0]，......
2.自定义变量
自定义变量是区分字符大小写的,使用下面方式进行赋值
-v var=value
在program中直接定义
四.动作 printf
printf 可以实现格式化输出
格式：
printf “FORMAT”, item1, item2, ...
说明：
必须指定FORMAT
不会自动换行，需要显式给出换行控制符 \n
FORMAT中需要分别为后面每个item指定格式符
格式符：与item一一对应
%c：显示字符的ASCII码
%d, %i：显示十进制整数
%e, %E：显示科学计数法数值
%f：显示为浮点数
%g, %G：以科学计数法或浮点形式显示数值
%s：显示字符串
%u：无符号整数
%%：显示%自身
修饰符
#[.#] 第一个数字控制显示的宽度；第二个#表示小数点后精度，如：%3.1f
- 左对齐（默认右对齐） 如：%-15s
- 显示数值的正负符号 如：%+d
五.操作符
算术操作符：
x+y, x-y, x*y, x/y, x^y, x%y
-x：转换为负数
+x：将字符串转换为数值
字符串操作符：
没有符号的操作符，字符串连接
赋值操作符：
=, +=, -=, *=, /=, %=, ^=，++,--
比较操作符：
==, !=, >, >=, <, <=
模式匹配符：
~ 左边是否和右边匹配，包含关系
!~ 是否不匹配
逻辑操作符：
与：&&，并且关系
或：||，或者关系
非：!，取反
条件表达式（三目表达式）
selector?if-true-expression:if-false-expression
六.模式 PATTERN
PATTERN:根据pattern条件，过滤匹配的行，再做处理
如果未指定：空模式，匹配每一行
- /regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来
- relational expression: 关系表达式，结果为“真”才会被处理
真：结果为非0值，非空字符串
假：结果为空字符串或0值
- line ranges：行范围
不支持直接用行号，但可以使用变量NR间接指定行号
/pat1/,/pat2/ 不支持直接给出数字格式
- BEGIN/END模式
BEGIN{}：仅在开始处理文件中的文本之前执行一次
END{}：仅在文本处理完成之后执行一次
七.条件判断 if-else
使用场景：对awk取得的整行或某个字段做条件判断
语法:
if(condition){statement;…}[else statement]
if(condition1){statement1}else if(condition2){statement2}else if(condition3)
{statement3}...... else {statementN}
八.条件判断 switch
语法：
switch(expression) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or
/REGEXP2/: statement2; ...; default: statementn}
九.循环 while
使用场景：
对一行内的多个字段逐一类似处理时使用
对数组中的各元素逐一处理时使用
语法：
while (condition) {statement;…}
十.循环 do-while
语法：
do {statement;…}while(condition)
意义：无论真假，至少执行一次循环体
十一.循环 for
语法：
for(expr1;expr2;expr3) {statement;…}
常见用法：
for(variable assignment;condition;iteration process) {for-body}
特殊用法：能够遍历数组中的元素
for(var in array) {for-body}
十二.continue 和 break
continue 中断本次循环
break 中断整个循环
格式：
continue [n]
break [n]
十三.next
next 可以提前结束对本行处理而直接进入下一行处理（awk自身循环）
十四.数组
awk的数组为关联数组
格式:
array_name[index-expression]
index-expression
利用数组，实现 k/v 功能
可使用任意字符串；字符串要使用双引号括起来
如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”
若要判断数组中是否存在某元素，要使用“index in array”格式进行遍历
若要遍历数组中的每个元素，要使用 for 循环
for(var in array) {for-body}
注：var会遍历array的每个索引
十五.awk 函数
awk 的函数分为内置和自定义函数
1.常见内置函数
数值处理：
rand()：返回0和1之间一个随机数
srand()：配合rand() 函数,生成随机数的种子
int()：返回整数
字符串处理：
length([s])：返回指定字符串的长度
sub(r,s,[t])：对t字符串搜索r表示模式匹配的内容，并将第一个匹配内容替换为s
gsub(r,s,[t])：对t字符串进行搜索r表示的模式匹配的内容，并全部替换为s所表示的内容
split(s,array,[r])：以r为分隔符，切割字符串s，并将切割后的结果保存至array所表示的数组中，第
一个索引值为1,第二个索引值为2,…
可以awk中调用shell命令
system('cmd')
注:空格是awk中的字符串连接符，如果system中需要使用awk中的变量可以使用空格分隔，或者说除了awk的变量外其他一律用""引用起来
时间函数
systime() 当前时间到1970年1月1日的秒数
strftime() 指定时间格式
2.自定义函数
自定义函数格式：
function name ( parameter, parameter, ... ) {
statements
return expression
}
十六.awk脚本
将awk程序写成脚本，直接调用或执行
向awk脚本传递参数
awkfile var=value var2=value2... Inputfile
注:在BEGIN过程中不可用。直到首行输入完成以后，变量才可用。可以通过-v 参数，让awk在执行BEGIN之前得到变量的值。命令行中每一个指定的变量都需要一个-v参数
