2019-04-22日课程总结

三剑客老大之awk

创建测试环境

mkdir -p /server/files/
cat >>/server/files/reg.txt<<EOF
Zhang Dandan    41117397   :250:100:175
Zhang Xiaoyu    390320151  :155:90:201
Meng  Feixue    80042789   :250:60:50
Wu    Waiwai    70271111   :250:80:75
Liu   Bingbing  41117483   :250:100:175
Wang  Xiaoai    3515064655 :50:95:135
Zi    Gege      1986787350 :250:168:200
Li    Youjiu    918391635  :175:75:300
Lao   Nanhai    918391635  :250:100:175
EOF

三剑客小切磋

[root@oldboyedu59 /oldboy]# grep 'oldb.y' oldboy.txt
I am oldboy teacher!
my blog is http://oldboy.blog.51cto.com
our size is http://blog.oldboyedu.com
my god,i am not oldbey,but OLDBOY!
oldboy oldboy oldboy

[root@oldboyedu59 /oldboy]# sed -n  '/oldb.y/p' oldboy.txt
I am oldboy teacher!
my blog is http://oldboy.blog.51cto.com
our size is http://blog.oldboyedu.com
my god,i am not oldbey,but OLDBOY!
oldboy oldboy oldboy

root@oldboyedu59 /oldboy]# awk '/oldb.y/' oldboy.txt
I am oldboy teacher!
my blog is http://oldboy.blog.51cto.com
our size is http://blog.oldboyedu.com
my god,i am not oldbey,but OLDBOY!
oldboy oldboy oldboy

awk过滤

环境

[root@oldboyedu59 /oldboy]# cat /server/files/reg.txt 
Zhang Dandan    41117397   :250:100:175
Zhang Xiaoyu    390320151  :155:90:201
Meng  Feixue    80042789   :250:60:50
Wu    Waiwai    70271111   :250:80:75
Liu   Bingbing  41117483   :250:100:175
Wang  Xiaoai    3515064655 :50:95:135
Zi    Gege      1986787350 :250:168:200
Li    Youjiu    918391635  :175:75:300
Lao   Nanhai    918391635  :250:100:175

显示第二列以 i 结尾的行

[root@oldboyedu59 /oldboy]# awk '$2~/i$/' /server/files/reg.txt
Wu    Waiwai    70271111   :250:80:75
Wang  Xiaoai    3515064655 :50:95:135
Lao   Nanhai    918391635  :250:100:175

显示第二列以i结尾的行并显示第一列和第三列

[root@oldboyedu59 /oldboy]# awk '$2~/i$/{print $1,$2,$3}' /server/files/reg.txt
Wu Waiwai 70271111
Wang Xiaoai 3515064655
Lao Nanhai 918391635

 第一列是姓氏
 第二列是名字
 第一第二列合起来就是姓名
 第三列是对应的ID号码
 最后三列是三次捐款数量

示例:

显示Xiaoyu的姓氏和ID号码
条件:显示Xiaoyu
{动作}: 显示姓氏和id

[root@oldboyedu59 /oldboy]# awk '\$2~/Xiaoyu/' /server/files/reg.txt
Zhang Xiaoyu    390320151  :155:90:201
[root@oldboyedu59 /oldboy]# 
[root@oldboyedu59 /oldboy]# awk '$2~/Xiaoyu/{print $1,$3}' /server/files/reg.txt
Zhang 390320151

姓氏是Zhang的人，显示他的第二次捐款金额及她的名字
显示所有ID号码最后一位数字是1或5的人的全名
显示所有人的全名，以姓,名的格式显示，如Meng,Feixue
显示Xiaoyu的捐款.每个值时都有以 $开头.如$ 520 $200$ 135

姓氏是Zhang的人，显示他的第二次捐款金额及她的名字

条件: 找出包含Zhang的行
{动作}: 显示捐款的金额和名字

[root@oldboyedu59 /oldboy]# awk '$1~/^Zhang/' /server/files/reg.txt\
Zhang Dandan    41117397   :250:100:175
Zhang Xiaoyu    390320151  :155:90:201
[root@oldboyedu59 /oldboy]# awk '/^Zhang/' /server/files/reg.txt
Zhang Dandan    41117397   :250:100:175
Zhang Xiaoyu    390320151  :155:90:201

'$1~/^Zhang/' 第1列中以Zhang开头的
'/^Zhang/' 这一行中以Zhang开头

最后一列NF 倒数第二行NF-1

[root@oldboyedu59 /oldboy]# awk -F"[ :]+"  '\$1~/^Zhang/{print \$1,\$2,\$5}' /server/files/reg.txt
Zhang Dandan 100
Zhang Xiaoyu 90
[root@oldboyedu59 /oldboy]# awk -F"[ :]+"  '\$1~/^Zhang/{print \$1,\$2,$(NF-1)}' /server/files/reg.txt
Zhang Dandan 100
Zhang Xiaoyu 90

显示所有ID号码最后一位数字是1或5的人的全名

[root@oldboyedu59 /oldboy]# awk '$3~/[15]$/' /server/files/reg.txt
Zhang Xiaoyu    390320151  :155:90:201
Wu    Waiwai    70271111   :250:80:75
Wang  Xiaoai    3515064655 :50:95:135
Li    Youjiu    918391635  :175:75:300
Lao   Nanhai    918391635  :250:100:175

[root@oldboyedu59 /oldboy]# awk '$3~/[15]$/{print $1,$2}' /server/files/reg.txt
Zhang Xiaoyu
Wu Waiwai
Wang Xiaoai
Li Youjiu
Lao Nanhai

显示所有人的全名，以姓,名的格式显示，如Meng,Feixue

[root@oldboyedu59 /oldboy]# awk '{print $1","$2}' /server/files/reg.txt
Zhang,Dandan
Zhang,Xiaoyu
Meng,Feixue
Wu,Waiwai
Liu,Bingbing
Wang,Xiaoai
Zi,Gege
Li,Youjiu
Lao,Nanhai

awk替换

[root@oldboyedu59 /oldboy]# awk '{print \$NF}' /server/files/reg.txt|tr ':' '\$'
\$250\$100\$175
\$155\$90\$201
\$250\$60\$50
\$250\$80\$75
\$250\$100\$175
\$50\$95\$135
\$250\$168\$200
\$175\$75\$300
\$250\$100\$175

sed 's#:#$#g' reg.txt
awk格式：

s==sub
gsub(/:/,"$")
gsub(/找谁/,"替换成什么")
gsub(/找谁/,"替换成什么",某一列)

[root@oldboyedu59 /oldboy]# awk '{gsub(/:/,"$")}' /server/files/reg.txt
[root@oldboyedu59 /oldboy]# awk '{gsub(/:/,"$"); print $0 }' /server/files/reg.txt
Zhang Dandan    41117397   $250$100$175
Zhang Xiaoyu    390320151  $155$90$201
Meng  Feixue    80042789   $250$60$50
Wu    Waiwai    70271111   $250$80$75
Liu   Bingbing  41117483   $250$100$175
Wang  Xiaoai    3515064655 $50$95$135
Zi    Gege      1986787350 $250$168$200
Li    Youjiu    918391635  $175$75$300
Lao   Nanhai    918391635  $250$100$175

[root@oldboyedu59 /oldboy]# awk '{gsub(/:/,"$",$NF); print $4 }' /server/files/reg.txt
$250$100$175
$155$90$201
$250$60$50
$250$80$75
$250$100$175
$50$95$135
$250$168$200
$175$75$300
$250$100$175

创建环境:

head /etc/passwd >/oldboy/passwd.txt
调换/oldboy/passwd.txt文件的第1列和最后一列的位置（不用修改文件内容）

文件内容:

daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin

想要结果:

/bin/bash:x:0:0:root:/root:root
/sbin/nologin:x:1:1:bin:/bin:bin

sed

[root@oldboyedu59 /oldboy]# sed -r 's#(^.*)(:x.*:)(.*\$)#\3#g' passwd.txt
[root@oldboyedu59 /oldboy]# sed -r 's#(^.*)(:x.*:)(.*$)#\3\2\1#g' passwd.txt

awk

[root@oldboyedu59 /oldboy]# awk -F: '{print $7":"$2":"$3":"$4":"$5":"$6":"$1}' passwd.txt
/bin/bash:x:0:0:root:/root:root
/sbin/nologin:x:1:1:bin:/bin:bin
/sbin/nologin:x:2:2:daemon:/sbin:daemon
/sbin/nologin:x:3:4:adm:/var/adm:adm
/sbin/nologin:x:4:7:lp:/var/spool/lpd:lp
/bin/sync:x:5:0:sync:/sbin:sync
/sbin/shutdown:x:6:0:shutdown:/sbin:shutdown
/sbin/halt:x:7:0:halt:/sbin:halt
/sbin/nologin:x:8:12:mail:/var/spool/mail:mail
/sbin/nologin:x:11:0:operator:/root:operator

awk 手里有两杯饮料

awk -F: '{tmp=$1;$1=$NF;$NF=tmp;print $0 }' passwd.txt

awk-调换 /etc/passwd第1列和最后一列的内容-说明
https://www.processon.com/view/link/5aa1df8ae4b0b089b9e60cbd

OFS详解

OFS awk在显示每一列的时候每一列之间通过什么分割
OFS的内容就是 ,的内容
Output Field Separator 输出分隔符

[root@oldboyedu59 /oldboy]# awk -F: -vOFS=":" '{tmp=$1;$1=$NF;$NF=tmp;print $0 }' passwd.txt
/bin/bash:x:0:0:root:/root:root
/sbin/nologin:x:1:1:bin:/bin:bin
/sbin/nologin:x:2:2:daemon:/sbin:daemon
/sbin/nologin:x:3:4:adm:/var/adm:adm
/sbin/nologin:x:4:7:lp:/var/spool/lpd:lp
/bin/sync:x:5:0:sync:/sbin:sync
/sbin/shutdown:x:6:0:shutdown:/sbin:shutdown
/sbin/halt:x:7:0:halt:/sbin:halt
/sbin/nologin:x:8:12:mail:/var/spool/mail:mail
/sbin/nologin:x:11:0:operator:/root:operator

awk计算

[root@oldboyedu59 /oldboy]# awk 'BEGIN{print 1/3,2*4,2*2*2*2*2,2^10}'
0.333333 8 32 1024

root@oldboyedu59 /oldboy]# cat /oldboy/oldboy.txt
I am oldboy teacher!
I teach linux.

I like badminton ball,billiard ball and chinese chess!
my blog is http://oldboy.blog.51cto.com
our size is http://blog.oldboyedu.com
my qq is 1351441522

not 4900000448
my god,i am not oldbey,but OLDBOY!
oldboy oldboy oldboy

统计文件中空行的数量

方法1

[root@oldboyedu59 /oldboy]# wc -l /oldboy/oldboy.txt
11 /oldboy/oldboy.txt

方法2

[root@oldboyedu59 /oldboy]# awk '/^$/{i=i+1;print i}' /oldboy/oldboy.txt
1
2

[root@oldboyedu59 /oldboy]# awk '/^$/{i=i+1;print i}' /etc/services 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

[root@oldboyedu59 /oldboy]# awk '/^$/{i=i+1}END{print i}' /etc/services 
17

统计access.log中第9列是200的数量

[root@oldboyedu59 /oldboy]# #统计access.log中 第9列是200的数量
[root@oldboyedu59 /oldboy]# 
[root@oldboyedu59 /oldboy]# 
[root@oldboyedu59 /oldboy]# 
[root@oldboyedu59 /oldboy]# awk '$9==200{i++}END{print i}'   access.log 
142666
[root@oldboyedu59 /oldboy]# awk '$9~/^200$/{i++}END{print i}'   access.log 
142666

awk计算执行过程1+...+10

       i  i=i+$1    i 
1       空 i=0+1     1  
2       1  i=1+2     3
3       3  i=3+3     6 
4       6  i=6+4     10

[root@oldboyedu59 /oldboy]# seq 10  |awk '{i=i+$1;print i}'
1
3
6
10
15
21
28
36
45
55

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 214,776评论 6赞 496
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,527评论 3赞 389
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 160,361评论 0赞 350
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,430评论 1赞 288
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,511评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,544评论 1赞 293
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,561评论 3赞 414
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,315评论 0赞 270
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,763评论 1赞 307
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,070评论 2赞 330
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,235评论 1赞 343
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,911评论 5赞 338
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,554评论 3赞 322
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,173评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,424评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,106评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,103评论 2赞 352

2019-04-22日 课程总结

三剑客老大之awk

创建测试环境

三剑客小切磋

awk过滤

环境

示例:

姓氏是Zhang的人，显示他的第二次捐款金额及她的名字

最后一列NF 倒数第二行NF-1

显示所有ID号码最后一位数字是1或5的人的全名

显示所有人的全名，以姓,名的格式显示，如Meng,Feixue

awk替换

创建环境:

想要结果:

sed

awk

awk 手里有两杯饮料

OFS详解

awk计算

统计文件中空行的数量

统计access.log中 第9列是200的数量

推荐阅读更多精彩内容

2019-04-22日课程总结

统计access.log中第9列是200的数量