Linux正規表示式awk講解

awk和sed一樣是流式編輯器，它也是針對文件中的行來操作的，一行一行的去執行。awk比sed更加強大，它能做到sed能做到的，同樣也能做到sed不能做到的。awk常用來分段；

awk不用加任何引數就可以實現 + ? * .  | 這些特殊符號；

1、擷取文件中的某個段
[root@linuxidc ~]# head -n2 passwd |awk -F: '{print $1}'
root
bin
[root@linuxidc ~]# head -n2 passwd |awk -F: '{print $0}'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
[root@linuxidc ~]# head -n2 passwd |awk -F: '{print $1,$3,$7}'
root 0 /bin/bash
bin 1 /sbin/nologin

-F 選項的作用是指定分隔符，如果不加-F指定，則以空格或者tab為分隔符。 Print為列印的動作，用來列印出某個欄位。$1為第一個欄位，$2為第二個欄位，依次類推，有一個特殊的那就是$0，它表示整行。

{ }內可以列印多個欄位$1,$3,$7 列印第1、3、7段，中間用逗號隔開；

列印分段預設分隔符為空格，可以自定義分隔符，分隔符需要用冒號括起來；也可以OFS定義輸出分隔符；
[root@localhost ~]# awk -F: '{print $3,$4}' 1.txt |head -5
0 0
1 1
2 2
3 4
4 7
[root@localhost ~]# awk -F: '{print $3":"$4}' 1.txt |head -5
0:0
1:1
2:2
3:4
4:7
[root@localhost ~]# awk -F: 'OFS="#"{print $3,$4}' 1.txt |head -5
0#0
1#1
2#2
3#4
4#7

[root@linuxidc ~]# head -n2 passwd |awk -F: '{print $1"#""@"$3"#"$7}'
root#@0#/bin/bash
bin#@1#/sbin/nologin

注意awk的格式，-F後緊跟單引號，然後裡面為分隔符，print的動作要用 { } 括起來，否則會報錯。print還可以列印自定義的內容，但是自定義的內容要用“”雙引號括起來。

2、匹配字元或字串
[root@linuxidc ~]# awk -F: '$1~/me/' passwd 
games:x:12:100:games:/usr/games:/sbin/nologin
[root@linuxidc ~]# awk -F: '$1~/user/' passwd 
user1:x:600:501::/home/user1:/bin/bash

可以讓某個段去匹配，~ 表示匹配的意思，以冒號分隔第一欄位然後匹配//裡的關鍵字；

[root@linuxidc ~]# awk -F: '/root/ {print $1,$3} /user/ {print $1,$3}' passwd 
root 0
operator 11
ftp 14
saslauth 499
user1 600

awk還可以多次匹配，如上例全文匹配包含root關鍵詞的行，再匹配包含user的行，列印所匹配的第1、3段。

3、條件操作符
判斷第3個欄位為0的
[root@linuxidc ~]# awk -F: '$3=="0"' passwd 
root:x:0:0:root:/root:/bin/bash
[root@linuxidc ~]# awk -F: '$3==10' passwd 
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

判斷第3個欄位為10的並且列印該行的第7欄位；

[root@linuxidc ~]# awk -F: '$3==10 {print $7}' passwd 
/sbin/nologin
[root@linuxidc ~]# awk -F: '$3=="600"' passwd 
user1:x:600:501::/home/user1:/bin/bash

awk中是可以用邏輯符號判斷的，比如 ‘==’ 就是等於，也可以理解為 ‘精確匹配’ 另外也有 >, ‘>=, ‘<, ‘<=, ‘!= 等等，值得注意的是，在和數位比較時，若把比較的數位用雙引號引起來後，那麼awk不會認為是數位，而認為是字元，不加雙引號則認為是數位。

範例，雙引號括起來認為是字元；加單引號和不加則認為是數位；
[root@linuxidc ~]# awk -F: '$3>"500"' passwd | sort -t: -k 3 -n 
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
sshd:x:74:74:privilege-separated ssh:/var/empty/sshd:/sbin/nologin
dbus:x:81:81:system message bus:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
nobody:x:99:99:nobody:/:/sbin/nologin
user1:x:600:501::/home/user1:/bin/bash

[root@linuxidc ~]# awk -F: '$3>500' passwd | sort -t: -k 3 -n 
user1:x:600:501::/home/user1:/bin/bash
[root@linuxidc ~]# awk -F: '$3>'500'' passwd | sort -t: -k 3 -n 
user1:x:600:501::/home/user1:/bin/bash

!= 為不匹配，第7欄位不等於/sbin/nologin的行，需要用雙引號括起來。
[root@linuxidc ~]# awk -F: '$7!="/sbin/nologin"' passwd 
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
user1:x:600:501::/home/user1:/bin/bash
mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/bash

除了針對某一個段的字元進行邏輯比較外，還可以兩個段之間進行邏輯比較。

[root@linuxidc ~]# awk -F: '$3>"5" && $3<"7"' passwd 
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
user1:x:600:501::/home/user1:/bin/bash

另外還可以使用 && “並且”和  || “或者” 的意思。
範例，列印第3段大於第4段，並且第7段為/bin/bash的行；
[root@linuxidc ~]# awk -F: '$3>$4 && $7=="/bin/bash"' passwd 
user1:x:600:501::/home/user1:/bin/bash

範例，列印第3段小於第4段，或者第7段為/bin/bash的行；
[root@linuxidc ~]# awk -F: '$3<$4 || $7=="/bin/bash"' passwd 
root:x:0:0:root:/root:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:ftp user:/var/ftp:/sbin/nologin
user1:x:600:501::/home/user1:/bin/bash
mysql:x:27:27:mysql server:/var/lib/mysql:/bin/bash

4、awk的內建變數

awk常用的變數有：
NF ：用分隔符分隔後一共有多少段
NR ：行數
{print NR":"NF}    列出行號，以冒號分隔，列出共有多少段；

[root@linuxidc ~]# head -5 passwd |awk -F: '{print NR":"NF}'
1:7
2:7
3:7
4:7
5:7
[root@linuxidc ~]# head -5 passwd |awk -F: '{print NF}'
7
7
7
7
7
[root@linuxidc ~]# head -5 passwd |awk -F: '{print NR}'

[root@linuxidc ~]# head -5 passwd |awk -F: '{print $NF}'
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin

NF 表示是多少段，而$NF是最後一段的值, 而NR則是行號。5、awk中的數學運算awk還可以對各個段的值進行數學運算：12 [root@linuxidc ~]# awk -F: '{(tot=tot+$3)};END {print tot};' passwd 
1720

這裡的END要注意一下，表示所有的行都已經執行，這是awk特有的語法，其實awk連同sed都可以寫成一個指令碼檔案，而且有他們特有的語法，在awk中使用if判斷、for迴圈都是可以的。

範例，if判斷，如第一段的值為root，列印整行；
[root@linuxidc ~]# awk -F: '{if ($1=="root") print $0}' passwd 
root:x:0:0:root:/root:/bin/bash

範例，for迴圈，定義sum變數，i值為第3段的值；求第3段的和；

[root@linuxidc ~]# sum=0;for i in `awk -F: '{print $3}' passwd`;do sum=$[($sum+$i)];done;echo $sum
1720

--------------------------------------分割線 --------------------------------------

AWK簡介及使用範例 http://www.linuxidc.com/Linux/2013-12/93519.htm

AWK 簡介和例子 http://www.linuxidc.com/Linux/2012-12/75441.htm

Shell指令碼之AWK文字編輯器語法 http://www.linuxidc.com/Linux/2013-11/92787.htm

正規表示式中AWK的學習和使用 http://www.linuxidc.com/Linux/2013-10/91892.htm

文字資料處理之AWK 圖解 http://www.linuxidc.com/Linux/2013-09/89589.htm

如何在Linux中使用awk命令 http://www.linuxidc.com/Linux/2014-10/107542.htm

文字分析工具-awk  http://www.linuxidc.com/Linux/2014-12/110939.htm

--------------------------------------分割線 --------------------------------------

本文永久更新連結地址：http://www.linuxidc.com/Linux/2015-04/116292.htm