文本处理sed
一:简介
Stream EDitor, 行编辑器
首先对于一个文本文件来说,它是由至上而下的一行或N行组成。
1、当用sed命令对文本进行处理的时候,sed先读取对象的文本文件的第一行到模式空间中。
2、当有内容进入“模式空间”时,sed的编辑命令对模式空间中的内容进行编辑操作(修改,替换,删除,追加,显示等等)
3、模式空间中的内容编辑处理完成之后,sed把此内容通过标准输出(默认为显示器)打印出来,并删除模式空间中的内容。
4、第一行处理结束。从新读取第二行的内容进行处理,直到最后一行。
二:语法
用法:
sed [option]... 'script' inputfile...
常用选项:
-n:不输出模式空间内容到屏幕,即不自动打印
-e: 多点编辑
eg: sed -e 's/dog/cat/' -e 's/hi/lo/' pets
-f:/ PATH/SCRIPT_FILE : 从指定文件中读取编辑脚本
-r: 支持使用扩展正则表达式
-i.bak: 备份文件并原处编辑(.bak是后缀名)
eg : sed -i.bak '1-2d' f1
将f1文件备份生成f1.bak文件,再进行修改
script: ’ 地址(要处理的行)+命令’
地址定界:
(1) 不给地址:对全文进行处理
(2) 单地址:
#: 指定的行
/pattern/ :被此处模式所能够匹配到的每一行
eg: sed -n /^r/ /etc/passwd
(3) 地址范围:
#,#
#,+#
eg: sed -n '3,+6p' /etc/passwd(取第三行,到往下的六行)
/pat1/,/pat2/
eg: sed -n '/^h/,/^s/p' /etc/passwd
#,/pat1/
eg: sed -n '2p,/^s/' /etc/passwd
(4) ~ :步进
1~2 奇数行(从第一行开始,每次加2)
2~2 偶数行(从第二行开始,每次加2)
eg: sed 100|sed '2~2p'
编辑命令:
d: 删除模式空间匹配的行
eg:sed '90d' f1 删除第90行
p: 显示模式空间中的内容
eg:sed '90p' f1 打印第90行
a [\]text :在指定行 后面 追加文本
支持 使用\n (表示换行) 实现多行追加
eg:sed '90anewline' f1
sed '90a\new\nnewline\nnewline' f1
i [\]text :在行前面 插入文本
c [\]text :替换行为单行或多行文本
eg: sed '10,90c\ new line1\nnew line2\nnewline3' f1
把十到九十行都删了用后面的内容代替
w /path/somefile: 保存模式匹配的行至指定文件
eg:sed '10,90w /root/f2' f1
把f2的10到90行保存到f1
r /path/somefile :读取指定文件的文本至模式空间中匹配到的行后
eg: sed '10r /etc/issue' f1
将/etc/issue读入到f1的第10行后
=: 为模式空间中的行打印行号
eg: sed '=' /etc/passwd
!: 模式空间中匹配行取反处理
eg:sed -n '1~2!p' 取出偶数行
s/// :查找替换, 支持使用其它分隔符,s@@@
替换标记:
g: 行内全局替换
p: 显示替换成功的行
w /PATH/TO/SOMEFILE :将替换成功的行
eg:sed '2~2s/root/ROOT/g' f1 将偶数行的root替换成ROOT
高级编辑命令:
h: 把模式空间中的内容覆盖至保持空间中
H :把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G :从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行 覆盖 至模式空间
N :读取匹配到的行的下一行 追加 至模式空间
d: 删除模式空间中的行
D :删除 当前模式空间开端至\n (换行)的内容( 不再传 至标准输出),放弃之后的命令,
但是对剩余模式空间重新执行sed
三:sed练习
1 、删除centos7 系统/etc/grub2.cfg 文件中所有以空白开头的行行首的空白字符
sed 's/^[[:space:]]\+//' /etc/grub2.cfg
2 、删除/etc/fstab 文件中所有以# 开头,后面至少跟一个空白字符的行的行首的# 和空白字符
sed 's/^#[[:space:]]\+//' /etc/fstab
3 、在centos6 系统/root/install.log 每一行行首增加#号
sed 's/^/#/g' /root/install.log
4 、在/etc/fstab 文件中不以# 开头的行的行首增加#号
sed 's/^[^#]/#/g' /etc/fstab
5 、处理/etc/fstab 路径, 使用sed 命令取出其目录名和基名
取目录名echo "/etc/sysconfig/network"|sed -r 's@(^/.*/)([^/]+/?)@\1@'
取基名:echo "/etc/sysconfig/network"|sed -r 's@(^/.*/)([^/]+/?)@\2@'
6 、利用sed 取出ifconfig 命令中本机的IPv4 地址
ifconfig eth0|sed -n '2p' |sed -e 's/^.*r://' -e 's/ .*//'
7 、统计centos 安装光盘中Package 目录下的所有rpm 文件的以. 分隔倒数第二个字段的重复次数
法一: ll /misc/cd/Packages/ |egrep '*.rpm' | sed -r 's@(^.*\.)
( [^.]+ )\.rpm$@\2@' | sort | uniq -c
法二: ls /misc/cd/Packages/ |egrep '*.rpm$'|sed -e 's@.rpm@@' -e 's@.*\.@@'
| sort |uniq -c
8 、统计/etc/init.d/functions 文件中每个单词的出现次数,并排序(用grep 和sed 两种方法分别实现)
sed -nre 's@[^[:alpha:]]+@\n@gp' /etc/init.d/functions |sort|uniq -c|sort -n
grep -oE '\<[[:alpha:]_]+[[:alnum:]]+\>' /etc/init.d/functions
9 、将文本文件的n 和n+1 行合并为一行,n为奇数行
sed -n 'N;s/\n//p' /etc/passwd