shell指令碼之sed詳細用法詳解

2022-07-05 18:01:58

sed的作用

sed是Stream Editor（流編輯器）的縮寫，簡稱流編輯器；用來處理檔案的

sed是一行一行讀取檔案內容並按照要求進行處理，把處理後的結果輸出到螢幕

首先sed讀取檔案中的一行內容，把其儲存在一個臨時快取區中（也稱為模式空間）
然後根據需求處理臨時緩衝區中的行，完成後把該行傳送到螢幕上

總結：

由於sed把每一行都存在臨時緩衝區中，對這個副本進行編輯，所以不會直接修改原檔案
Sed主要用來自動編輯一個或多個檔案；簡化對檔案的反覆操作,對檔案進行過濾和轉換操作

sed使用方法介紹

sed常見的語法格式有兩種，一種叫命令列模式，另一種叫指令碼模式。

命令列格式

sed [options] ‘處理動作’ 檔名

常用選項

選項	說明	備註
-e	進行多項(多次)編輯	可以編輯多個匹配引數
-n	取消預設輸出	不自動列印模式空間
-r	使用擴充套件正規表示式
-i	原地編輯	會修改原始檔
-f	指定sed指令碼的檔名

常見處理動作

以下所有的動作都要在單引號裡

動作	說明	備註
‘p’	列印
‘i’ 在指定行之前插入內容	類似vim裡的大寫O
‘a’	在指定行之後插入內容	類似vim裡的小寫o
‘c’	替換指定行所有內容	很常用
‘d’	刪除指定行

舉例說明

檔案准備

vim a.txt  

root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
298374837483
172.16.0.254
10.1.1.1

對檔案進行增、刪、改、查操作

列印檔案內容

sed ''  a.txt                        對檔案什麼都不做
sed -n 'p'  a.txt                    列印每一行，並取消預設輸出
sed -n '1p'  a.txt                    列印第1行
sed -n '2p'  a.txt                    列印第2行
sed -n '1,5p'  a.txt                列印1到5行
sed -n '$p' a.txt                     列印最後1行

增加檔案內容

i地址定位的上面插入

a下面插入

 sed '$a99999' a.txt              檔案最後一行下面增加內容
sed 'a99999' a.txt                檔案每行下面增加內容
sed '5a99999' a.txt               檔案第5行下面增加內容
sed '$i99999' a.txt               檔案最後一行上一行增加內容
sed 'i99999' a.txt                檔案每行上一行增加內容
sed '6i99999' a.txt               檔案第6行上一行增加內容
sed '/^adm/ihello'                以adm開頭行的上一行插入內容

c 替換指定的整行內容

sed '5chello world' a.txt       替換檔案第5行內容
sed 'chello world' a.txt        替換檔案所有內容
sed '1,5chello world' a.txt     替換檔案1到5號內容為hello world
sed '/^daemon/c888888' a.txt    替換以user01開頭的行

刪除檔案內容

sed '1d' a.txt                   刪除檔案第1行
sed '1,5d' a.txt                 刪除檔案1到5行
sed '$d' a.txt                   刪除檔案最後一行

對檔案進行搜尋替換操作

語法：sed 選項 ‘s/搜尋的內容/替換的內容/動作’ 需要處理的檔案
其中，s表示search搜尋；斜槓==/表示分隔符，可以自己定義;動作一般是列印p和全域性替換g==（預設只替換每行第一個匹配到的內容）

sed -n 's/root/ROOT/p' 1.txt 
sed -n 's/root/ROOT/gp' 1.txt 
sed -n 's/^#//gp' 1.txt 
sed -n 's@/sbin/nologin@itcast@gp' a.txt
sed -n 's//sbin/nologin/itcast/gp' a.txt
sed -n '10s#/sbin/nologin#itcast#p' a.txt 
uucp:x:10:14:uucp:/var/spool/uucp:itcast

sed -n 's@/sbin/nologin@itcastheima@p' 2.txt 
注意：搜尋替換中的分隔符可以自己指定

sed -n '1,5s/^/#/p' a.txt         註釋掉檔案的1-5行內容
#root:x:0:0:root:/root:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
#daemon:x:2:2:daemon:/sbin:/sbin/nologin
#adm:x:3:4:adm:/var/adm:/sbin/nologin
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

其他命令

命令	解釋	備註
r	從另外檔案中讀取內容
w	內容另存為
&	儲存查詢串以便在替換串中參照	和()相同
=	列印行號
！	對所選行以外的所有行應用命令，放到行數之後	‘1,5!’
q	退出

舉例說明：

r    從檔案中讀取輸入行
w    將所選的行寫入檔案

sed '3r /etc/hosts' 2.txt 
sed '$r /etc/hosts' 2.txt
sed '/root/w a.txt' 2.txt 
sed '/[0-9]{4}/w a.txt' 2.txt
sed  -r '/([0-9]{1,3}.){3}[0-9]{1,3}/w b.txt' 2.txt

!    對所選行以外的所有行應用命令，放到行數之後
sed -n '1!p' 1.txt 
sed -n '4p' 1.txt 
sed -n '4!p' 1.txt 
cat -n 1.txt 
sed -n '1,17p' 1.txt 
sed -n '1,17!p' 1.txt 

&   儲存查詢串以便在替換串中參照   ()

sed -n '/root/p' a.txt 
root:x:0:0:root:/root:/bin/bash
sed -n 's/root/#&/p' a.txt 
#root:x:0:0:root:/root:/bin/bash

sed -n 's/^root/#&/p' passwd   註釋掉以root開頭的行
sed -n -r 's/^root|^stu/#&/p' /etc/passwd    註釋掉以root開頭或者以stu開頭的行
sed -n '1,5s/^[a-z].*/#&/p' passwd  註釋掉1~5行中以任意小寫字母開頭的行
sed -n '1,5s/^/#/p' /etc/passwd  註釋1~5行
或者
sed -n '1,5s/^/#/p' passwd 以空開頭的加上#
sed -n '1,5s/^#//p' passwd 以#開頭的替換成空

sed -n '/^root/p' 1.txt 
sed -n 's/^root/#&/p' 1.txt 
sed -n 's/(^root)/#1/p' 1.txt 
sed -nr '/^root|^stu/p' 1.txt 
sed -nr 's/^root|^stu/#&/p' 1.txt 


=     列印行號
sed -n '/bash$/=' passwd    列印以bash結尾的行的行號
sed -ne '/root/=' -ne '/root/p' passwd 
sed -n '/nologin$/=;/nologin$/p' 1.txt
sed -ne '/nologin$/=' -ne '/nologin$/p' 1.txt

q    退出
sed '5q' 1.txt
sed '/mail/q' 1.txt
sed -r '/^yunwei|^mail/q' 1.txt

sed -n '/bash$/p;10q' 1.txt
ROOT:x:0:0:root:/root:/bin/bash


綜合運用：
sed -n '1,5s/^/#&/p' 1.txt 
#root:x:0:0:root:/root:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
#daemon:x:2:2:daemon:/sbin:/sbin/nologin
#adm:x:3:4:adm:/var/adm:/sbin/nologin
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sed -n '1,5s/(^)/#1/p' 1.txt 
#root:x:0:0:root:/root:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
#daemon:x:2:2:daemon:/sbin:/sbin/nologin
#adm:x:3:4:adm:/var/adm:/sbin/nologin
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

其他選項

-e 多項編輯
-r    擴充套件正則
-i 修改原檔案

sed -ne '/root/p' 1.txt -ne '/root/='
root:x:0:0:root:/root:/bin/bash
1
sed -ne '/root/=' -ne '/root/p' 1.txt 
1
root:x:0:0:root:/root:/bin/bash

在1.txt檔案中的第5行的前面插入「hello world」;在1.txt檔案的第8行下面插入「貓貓貓」

sed -e '5ihello world' -e '8a貓貓貓' 1.txt  -e '5=;8='

sed -n '1,5p' 1.txt
sed -ne '1p' -ne '5p' 1.txt
sed -ne '1p;5p' 1.txt

過濾vsftpd.conf檔案中以#開頭和空行：

grep -Ev '^#|^$' /etc/vsftpd/vsftpd.conf
sed -e '/^#/d' -e '/^$/d' /etc/vsftpd/vsftpd.conf
[sed '/^#/d;/^$/d' /etc/vsftpd/vsftpd.conf
sed -r '/^#|^$/d' /etc/vsftpd/vsftpd.conf

過濾smb.conf檔案中生效的行：
sed -e '/^#/d' -e '/^;/d' -e '/^$/d' -e '/^t$/d' -e '/^t#/d' smb.conf
sed -r '/^(#|$|;|t#|t$)/d' smb.conf 

sed -e '/^#/d' -e '/^;/d' -e '/^$/d' -e '/^t$/d' -e '/^t#/' smb.conf


grep '^[^a-z]' 1.txt

sed -n '/^[^a-z]/p' 1.txt

過濾出檔案中的IP地址：
grep -E '([0-9]{1,3}.){3}[0-9]{1,3}' 1.txt 
192.168.0.254
sed -nr '/([0-9]{1,3}.){3}[0-9]{1,3}/p' 1.txt 
192.168.0.254

grep -o -E '([0-9]{1,3}.){3}[0-9]{1,3}' 2.txt 
10.1.1.1
10.1.1.255
255.255.255.0

sed -nr '/([0-9]{1,3}.){3}[0-9]{1,3}/p' 2.txt
10.1.1.1
10.1.1.255
255.255.255.0

過濾出ifcfg-eth0檔案中的IP、子網掩碼、廣播地址
grep -Eo '([0-9]{1,3}.){3}[0-9]{1,3}' ifcfg-eth0 
10.1.1.1
255.255.255.0
10.1.1.254

sed -nr '/([0-9]{1,3}.){3}[0-9]{1,3}/p' ifcfg-eth0|cut -d'=' -f2
10.1.1.1
255.255.255.0
10.1.1.254

sed -nr '/([0-9]{1,3}.){3}[0-9]{1,3}/p' ifcfg-eth0|sed -n 's/[A-Z=]//gp'
10.1.1.1
255.255.255.0
10.1.1.254

ifconfig eth0|sed -n '2p'|sed -n 's/[:a-Z]//gp'|sed -n 's/ /n/gp'|sed '/^$/d'
10.1.1.1
10.1.1.255
255.255.255.0

ifconfig | sed -nr '/([0-9]{1,3}.)[0-9]{1,3}/p' | head -1|sed -r 's/([a-z:]|[A-Z/t])//g'|sed 's/ /n/g'|sed  '/^$/d'

ifconfig eth0|sed -n '2p'|sed -n 's/.*addr:(.*) Bcast:(.*) Mask:(.*)/1n2n3/p'
10.1.1.1 
10.1.1.255 
255.255.255.0

-i 選項  直接修改原檔案
sed -i 's/root/ROOT/;s/stu/STU/' 11.txt
sed -i '17{s/YUNWEI/yunwei/;s#/bin/bash#/sbin/nologin#}' 1.txt
sed -i '1,5s/^/#&/' a.txt

注意：
-ni  不要一起使用
p命令 不要再使用-i時使用

sed結合正則使用

sed 選項 ‘sed命令或者正規表示式或者地址定位’ 檔名

定址用於決定對哪些行進行編輯。地址的形式可以是數位、正規表示式、或二者的結合。

如果沒有指定地址，sed將處理輸入檔案的所有行。

正則	說明	備註
/key/	查詢包含關鍵字的行	sed -n ‘/root/p’ 1.txt
/key1/,/key2/	匹配包含兩個關鍵字之間的行	sed -n ‘/^adm/,/^mysql/p’ 1.txt
/key/,x	從匹配關鍵字的行開始到檔案第x行之間的行（包含關鍵字所在行）	sed -n ‘/^ftp/,7p’
x,/key/	從檔案的第x行開始到與關鍵字的匹配行之間的行
x,y!	不包含x到y行
/key/!	不包括關鍵字的行	sed -n ‘/bash$/!p’ 1.txt

補充擴充套件總結

1、正規表示式必須以」/「前後規範間隔
例如：sed '/root/d' file
例如：sed '/^root/d' file

2、如果匹配的是擴充套件正規表示式，需要使用-r選來擴充套件sed
grep -E
sed -r
+ ? () {n,m} | d

注意：         
在正規表示式中如果出現特殊字元(^$.*/[]),需要以前導 "" 號做跳脫
eg：sed '/$foo/p' file


3、逗號分隔符
例如：sed '5,7d' file                  刪除5到7行
例如：sed '/root/,/ftp/d' file    
刪除第一個匹配字串"root"到第一個匹配字串"ftp"的所有行本行不找 迴圈執行

4、組合方式
例如：sed '1,/foo/d' file            刪除第一行到第一個匹配字串"foo"的所有行
例如：sed '/foo/,+4d' file            刪除從匹配字串」foo「開始到其後四行為止的行
例如：sed '/foo/,~3d' file            刪除從匹配字串」foo「開始刪除到3的倍數行（檔案中）
例如：sed '1~5d' file                從第一行開始刪每五行刪除一行
例如：sed -nr '/foo|bar/p' file    顯示設定字串"foo"或"bar"的行
例如：sed -n '/foo/,/bar/p' file    顯示匹配從foo到bar的行
例如：sed '1~2d'  file                刪除奇數行
例如：sed '0-2d'   file                刪除偶數行 sed '1~2!d'  file

5、特殊情況
例如：sed '$d' file                    刪除最後一行
例如：sed '1d' file                    刪除第一行

6、其他：
sed 's/.//' a.txt                        刪除每一行中的第一個字元
sed 's/.//2' a.txt                    刪除每一行中的第二個字元
sed 's/.//N' a.txt                    從檔案中第N行開始，刪除每行中第N個字元（N>2）
sed 's/.$//' a.txt                    刪除每一行中的最後一個字元