Linux awk 命令詳解

2020-06-16 17:18:06

awk是一個非常棒的數位處理工具。相比於sed常常作用於一整行的處理，awk則比較傾向於將一行分為數個“欄位”來處理。執行效率高，而且程式碼簡單，對格式化的文字處理能力超強。先來一個例子：
檔案a，統計檔案a的第一列中是浮點數的行的浮點數的平均值。用awk來實現只需要一句話就可以搞定
$cat a
1.021 33
1#.ll 44
2.53 6
ss 7

awk 'BEGIN{total = 0;len = 0} {if($1~/^[0-9]+.[0-9]*/){total += $1; len++}} END{print total/len}' a
（分析：$1~/^[0-9]+.[0-9]*/表示$1與“/ /”裡面的正規表示式進行匹配，若匹配，則total加上$1，且len自增，即數目加1.“^[0-9]+.[0-9]*”是個正規表示式，“^[0-9]”表示以數位開頭，“.”是跳脫的意思，表示“.”為小數點的意思。“[0-9]*”表示0個或多個數位）

awk的一般語法格式為：
　　awk [-引數變數] 'BEGIN{初始化}條件型別1{動作1}條件型別2{動作2}。。。。END{後處理}'
其中：BEGIN和END中的語句分別在開始讀取檔案（in_file）之前和讀取完檔案之後發揮作用，可以理解為初始化和掃尾。
（1）引數說明：
　　 -F re：允許awk更改其欄位分隔符
-v var=$v 把v值賦值給var，如果有多個變數要賦值，那麼就寫多個-v，每個變數賦值對應一個-v
　　　　e.g. 要列印檔案a的第num行到num+num1行之間的行，
　　　　　　awk -v num=$num -v num1=$num1 'NR==num,NR==num+num1{print}' a
　　-f progfile：允許awk呼叫並執行progfile程式檔案，當然progfile必須是一個符合awk語法的程式檔案。

（2）awk內建變數：
ARGC 命令列引數的個數
ARGV 命令列引數陣列
ARGIND 當前被處理檔案的ARGV標誌符
e.g 有兩個檔案a 和b
awk '{if(ARGIND==1){print "處理a檔案"} if(ARGIND==2){print "處理b檔案"}}' a b
檔案處理的順序是先掃描完a檔案，再掃描b檔案

NR 　　已經讀出的記錄數
FNR 　當前檔案的記錄數
上面的例子也可以寫成這樣：
awk 'NR==FNR{print "處理檔案a"} NR > FNR{print "處理檔案b"}' a b
輸入檔案a和b，由於先掃描a，所以掃描a的時候必然有NR==FNR，然後掃描b的時候，FNR從1開始計數，而NR則接著a的行數繼續計數，所以NR > FNR

e.g 要顯示檔案的第10行至第15行
awk 'NR==10,NR==15{print}' a

FS 　　輸入欄位分隔符（預設為:space:），相當於-F選項
awk -F ':' '{print}' a 和 awk 'BEGIN{FS=":"}{print}' a 是一樣的

OFS輸出欄位分隔符（預設為:space:）
awk -F ':' 'BEGIN{OFS=";"}{print $1,$2,$3}' b
如果cat b為
1:2:3
4:5:6
那麼把OFS設定成";"後就會輸出
1;2;3
4;5;6
（小注釋：awk把分割後的第1、2、3個欄位用$1,$2,$3...表示，$0表示整個記錄（一般就是一整行））

NF：當前記錄中的欄位個數
awk -F ':' '{print NF}' b的輸出為
3
3
表明b的每一行用分隔符":"分割後都3個欄位
可以用NF來控制輸出符合要求的欄位數的行，這樣可以處理掉一些異常的行
awk -F ':' '{if (NF == 3)print}' b

RS：輸入記錄分隔符，預設為"n"
預設情況下，awk把一行看作一個記錄；如果設定了RS，那麼awk按照RS來分割記錄
例如，如果檔案c，cat c為
hello world; I want to go swimming tomorrow;hiahia
執行 awk 'BEGIN{ RS = ";" } {print}' c 的結果為
hello world
I want to go swimming tomorrow
hiahia
合理的使用RS和FS可以使得awk處理更多模式的文件，例如可以一次處理多行，例如文件d cat d的輸出為
1 2
3 4 5

6 7
8 9 10
11 12

hello
每個記錄使用空行分割，每個欄位使用換行符分割，這樣的awk也很好寫
awk 'BEGIN{ FS = "n"; RS = ""} {print NF}' d 輸出
2
3
1

ORS：輸出記錄分隔符，預設為換行符，控制每個print語句後的輸出符號
awk 'BEGIN{ FS = "n"; RS = ""; ORS = ";"} {print NF}' d 輸出
2;3;1
（3）awk讀取shell中的變數
可以使用-v選項實現功能
$b=1
$cat f
apple

$awk -v var=$b '{print var, $var}' f
1 apple
至於有沒有辦法把awk中的變數傳給shell呢，這個問題我是這樣理解的。shell呼叫awk實際上是fork一個子進程出來，而子進程是無法向父進程傳遞變數的，除非用重定向（包括管道）
a=$(awk '{print $b, '$b'}' f)
$echo $a
apple 1

（4）輸出重定向

awk的輸出重定向類似於shell的重定向。重定向的目標檔名必須用雙引號參照起來。
$awk '$4 >=70 {print $1,$2 > "destfile" }' filename
$awk '$4 >=70 {print $1,$2 >> "destfile" }' filename

（5）awk中呼叫shell命令：

1)使用管道
awk中的管道概念和shell的管道類似，都是使用"|"符號。如果在awk程式中開啟了管道，必須先關閉該管道才能開啟另一個管道。也就是說一次只能開啟一個管道。shell命令必須被雙引號參照起來。“如果打算再次在awk程式中使用某個檔案或管道進行讀寫，則可能要先關閉程式，因為其中的管道會保持開啟狀態直至指令碼執行結束。注意，管道一旦被開啟，就會保持開啟狀態直至awk退出。因此END塊中的語句也會收到管道的影響。（可以在END的第一行關閉管道）”
awk中使用管道有兩種語法，分別是：
awk output | shell input
shell output | awk input

對於awk output | shell input來說，shell接收awk的輸出，並進行處理。需要注意的是，awk的output是先快取在pipe中，等輸出完畢後再呼叫shell命令處理，shell命令只處理一次，而且處理的時機是“awk程式結束時，或者管道關閉時（需要顯式的關閉管道）”
$awk '/west/{count++} {printf "%s %stt%-15sn", $3,$4,$1 | "sort +1"} END{close "sort +1"; printf "The number of sales pers in the western"; printf "region is " count "." }' datafile （解釋：/west/{count++}表示與“wes”t進行匹配，若匹配，則count自增）
printf函數用於將輸出格式化並行送給管道。所有輸出集齊後，被一同傳送給sort命令。必須用與開啟時完全相同的命令來關閉管道(sort +1)，否則END塊中的語句將與前面的輸出一起被排序。此處的sort命令只執行一次。

在shell output | awk input中awk的input只能是getline函數。shell執行的結果快取於pipe中，再傳送給awk處理，如果有多行資料，awk的getline命令可能呼叫多次。
$awk 'BEGIN{ while(("ls" | getline d) > 0) print d}' f

（5）awk結合match使用，提取匹配字串：

檔案內容：

<key>hostname</key>

要求提取0.0.0.0

命令：

cat filename | grep -A 1 "hostname" |awk 'match($0, "<value>(.*)</value>", a) {print a[1]}'

其中 grep -A n,表示多往下輸出n行

Linux常用命令之awk http://www.linuxidc.com/Linux/2016-09/135046.htm

Linux系統之文字格式化工具awk http://www.linuxidc.com/Linux/2016-02/128150.htm

AWK簡介及使用範例 http://www.linuxidc.com/Linux/2013-12/93519.htm

Linux awk文字分析工具 http://www.linuxidc.com/Linux/2015-12/126217.htm

Linux文字處理工具之awk http://www.linuxidc.com/Linux/2015-01/111437.htm

如何在Linux中使用awk命令 http://www.linuxidc.com/Linux/2014-10/107542.htm

文字分析工具-awk http://www.linuxidc.com/Linux/2014-12/110939.htm

AWK入門基礎教學 http://www.linuxidc.com/Linux/2016-12/138138.htm

使用awk格式化輸出文字 http://www.linuxidc.com/Linux/2016-04/130193.htm

本文永久更新連結地址：http://www.linuxidc.com/Linux/2017-03/142320.htm

Linux awk 命令詳解

熱門文章