awk 命令使用入門基礎詳解

$ awk '{print $1,$3}' test    #將列印test檔案中第一和第三個以空格分開的列(域)。

$awk -F'[:t]' '{print $1,$3}' test     #表示以空格、冒號和tab作為分隔符。

$ awk -F: '{print $1,$5}' test    #$1和$5間的逗號就是OFS的值。

Y
匹配一個單詞開頭或者末尾的空字串。
B
匹配單詞內的空字串。
<
匹配一個單詞的開頭的空字串，錨定開始。
>
匹配一個單詞的末尾的空字串，錨定末尾。
w
匹配一個字母數位組成的單詞。
W
匹配一個非字母數位組成的單詞。
‘
匹配字串開頭的一個空字串。
'
匹配字串末尾的一個空字串

$ awk '$1 ~/^root/' test    #將顯示test檔案第一列中以root開頭的行。

$ awk '$1 > $3 ? max=$1: max=$3 {print max}' test #如果第一個域大於第三個域，$1就賦值給max，否則$3就賦值給max。
$ awk '$1 + $2 > 100' test  #如果第一和第二個域相加大於100，則列印這些行。
$ awk '$1 > 5 && $2 < 10' test  #如果第一個域大於5，並且第二個域小於10，則列印這些行。

$ awk '/root/,/mysql/' test   #將顯示root第一次出現到mysql第一次出現之間的所有行。

$ cat /etc/passwd | awk -F: '
NF != 7{
printf("line %d,does not have 7 fields:%sn",NR,$0)}
$1 !~ /[A-Za-z0-9]/{printf("line %d,non alpha and numeric user id:%d: %sn,NR,$0)}$2 == "*" {printf("line %d, no password: %sn",NR,$0)}'

$ awk '/^(no|so)/' test    #列印所有以no或so開頭的行。

$ awk '/^[ns]/{print $1}' test    #如果記錄以n或s開頭，就列印這個記錄。

$ awk '$1 ~/[0-9][0-9]$/{print $1}' test   #如果第一個域以兩個數位結束就列印這個記錄。

$ awk '$1 == 100 || $2 < 50' test    #如果第一個域等於100或第二個域小於50，則列印該行。

$ awk '$1 != 10' test    #如果第一個域不等於10就列印該行。

$ awk '/test/{print $1 + 10}' test    #如果記錄包含test，則第一個域加10並列印出來。

$ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test  #如果第一個域大於5則列印冒號前面表示式值，否則列印冒號後面的表示式值。

$ awk '/^root/,/^mysql/' test    #列印以root開頭的記錄到以mysql開頭的記錄範圍內的所有記錄。如果找到一個新的正規表示式root開頭的記錄，則繼續列印直到下一個以正規表示式mysql開頭的記錄為止，或到檔案末尾。

$ awk '$1 ~/test/{count = $2 + $3; print count}' test  # 如果第一個域匹配test，就把第二和第三個域的值相加，並把結果賦值給變數count，最後列印出來。

$ awk -F: -f awkscript month=4 year=2004 test  #為自定義變數month和year分別賦值為4和2004。這些變數在awkscript指令碼中使用起來就象是在指令碼中建立的一樣。注意，如果引數前面出現test，那麼在BEGIN語句中的變數就不能被使用。

$ awk '{$2 = 100 + $1; print }' test  #如果第二個域不存在，awk將計算表示式100加$1的值，並將其賦值給$2，如果第二個域存在，則用表示式的值覆蓋$2原來的值。
$ awk '$1 == "root"{$1 ="test";print}' test  #如果第一個域的值是“root”，則把它賦值為“test”，注意，字串一定要用雙引號。

$ awk -F: '{IGNORECASE=1; $1 == "MARY"{print NR,$1,$2,$NF}'test  #把IGNORECASE設為1代表忽略大小寫，列印第一個域是mary的記錄數、第一個域、第二個域和最後一個域。

$ awk 'BEGIN{FS=":"; OFS="t"; ORS="nn"}{print $1,$2,$3} test   #在處理輸入檔案以前，域分隔符(FS)被設為冒號，輸出檔案分隔符(OFS)被設定為製表符，輸出記錄分隔符(ORS)被設定為兩個換行符。
$ awk 'BEGIN{print "TITLE TEST"}'   #只列印標題。

$ awk 'END{print "The number of records is" NR}' test   #列印所有被處理的記錄數（總行數）。

$ awk '$1 = 100 {print $1 > "output_file" }' test    #如果第一個域的值等於100，則把它輸出到output_file中。也可以用>>做追加操作。

#執行linux的date命令，並通過管道輸出給getline，然後再把輸出賦值給自定義變數d，並列印它。
$ awk 'BEGIN{ "date" | getline d; print d}' test 
 
#執行shell的date命令，並通過管道輸出給getline，然後getline從管道中讀取並將輸入賦值給d，split函數把變數d轉化成陣列mon，然後列印陣列mon的第二個元素。  
$ awk 'BEGIN{"date" | getline d; split(d,mon); print mon[2]}' test 
   
#命令ls的輸出傳遞給geline作為輸入，迴圈使getline從ls的輸出中讀取一行，並把它列印到螢幕。這裡沒有輸入檔案，因為BEGIN塊在開啟輸入檔案前執行，所以可以忽略輸入檔案。
$ awk 'BEGIN{while( "ls" | getline) print}'   

#在螢幕上列印”What is your name?",並等待使用者應答。當一行輸入完畢後，getline函數從終端接收該行輸入，並把它儲存在自定義變數name中。如果第一個域匹配變數name的值，print函數就被執行，END塊列印See you和name的值。
$ awk 'BEGIN{printf "What is your name?" ; getline name < "/dev/tty"} $1 ~name {print "Found " name " on line " NR "."} END{print "See you," name "."}' test

#awk將逐行讀取檔案/etc/passwd的內容，在到達檔案末尾前，計數器lc一直增加，當到末尾時，列印lc的值。
#注意，如果檔案不存在，getline返回-1，如果到達檔案的末尾就返回0，如果讀到一行，就返回1，所以命令 while (getline < "/etc/passwd")在檔案不存在的情況下將陷入無限迴圈，因為返回-1表示邏輯真。
$ awk 'BEGIN{while (getline < "/etc/passwd" > 0) lc++; print lc}'

$ awk '{print $1, $2 | "sort" } END {close("sort")}' test  #awd把print語句的輸出通過管道作為linux命令sort的輸入,END塊執行關閉管道操作。

$ awk 'BEGIN{system("clear")}'

格式：
        {if (expression){
                   statement; statement; ...
                     }
        }

$ awk '{if ($1 <$2) print $2 " too high"}' test   #如果第一個域小於第二個域則列印。
$ awk '{if ($1 < $2) {count++; print count" ok"}} END{print count" is ok!"}' test   #如果第一個域小於第二個域，則count加一，並列印ok並統計總數

格式：
        {if (expression){
                   statement; statement; ...
                       }
        else{
                   statement; statement; ...
                       }
        }

$ awk '{if ($1 > 100) print $1 " is too big" ; else print "ok"}' test   #如果$1大於100則列印$1 bad,否則列印ok。
$ awk '{if ($1 > 100){ count++; print $1} else {count--; print $2}}' test   #如果$1大於100，則count加一，並列印$1，否則count減一，並列印$2。

格式：
        {if (expression){
                    statement; statement; ...
                   }
        else if (expression){
                    statement; statement; ...
                   }
        else if (expression){
                    statement; statement; ...
                   }
        else {
                   statement; statement; ...
             }
        }

#變數i初始值為1，若i小於或等於NF(記錄域總數),檔案第一列自相加，並執行列印語句。
$ awk '{ i = 1; while ( i <= NF ) { print NF,$i; i++}}' test
$ awk '{for (i = 1; i<NF; i++) print NF,$i}' test   #作用同上。

awk '{for ( x=3; x<=NF; x++) if ($x<0){print NR" line Bottomed out!"; break} else if ($x>=0){print NR" line Get next item"; continue}}' test

awk '{if ($1 ~/test/){next} else {print}}' test

$ awk {name[x++]=$2};END{for(i=0;i<NR;i++) print i,name[i]}' test   
#陣列name中的下標是一個自定義變數x（初始化值為0），讀取一行內容後增加1，並將每行第二個域的值賦給name陣列的各個元素。
#在END模組中，for迴圈被用於迴圈整個陣列，從下標為0的元素開始，列印那些儲存在陣列中的值。因為下標是關健字，所以它不一定從0開始，可以從任何值開始。

{for (item in arrayname){
         print arrayname[item]
         }
}

$ awk '/^tom/{name[NR]=$1}; END{for(i in name){print name[i]}}' test    
#列印有值的陣列元素。列印的順序是隨機的。

$ awk '{count[$1]++} END{for(name in count) print name,count[name]}' test
#該語句將列印$1中字串出現的次數。它首先以第一個域作陣列count的下標，第一個域變化，索引就變化。

$ awk '{line[x++]=$1} END{for(x in line) delete line[x]}' test
#分配給陣列line的是第一個域的值，所有記錄處理完成後，special for迴圈將刪除每一個元素。

sub (regular expression, substitution string):
sub (regular expression, substitution string, target string)

$ awk '{ sub(/test/, "mytest"); print }' test
#在整個記錄中匹配，只替換每行第一次匹配到欄位。如要替換每行匹配到的所有欄位需要用到gsub

$ awk '{ sub(/test/, "mytest",$2); print }' test
#在整個記錄的第二個域中進行匹配，只替換每行第一次匹配到欄位。

$ awk '{ gsub(/test/, "mytest"); print }' testfile   #文件中匹配test，匹配的都被替換成mytest。
$ awk '{ gsub(/test/, "mytest" , $2) }; print }' testfile   #文件的第二個域中匹配，所有匹配的都被替換成mytest。

index(string, substring)

$ awk '{ print index("mytest", "test") }' test
#範例返回test在mytest的位置，結果應該是3。

length( string )
length

$ awk '{ print length( "test" ) }'   #返回test字串的長度
$ awk '{ print length }' test          #返回test檔案中第條記錄的字元數

split( string, array, field separator )
split( string, array )

$ awk '{ split( "20:18:00", time, ":" ); print time[2] }'
#上例把時間按冒號分割到time陣列內，並顯示第二個陣列元素18。

substr( string, starting position )
substr( string, starting position, length of string )

$ awk '{ print substr( "hello world", 7,11 ) }'     #擷取了world子字串。

match( string, regular expression )

$ awk '{start=match("this is a test",/[a-z]+$/); print start}'
#列印以連續小寫字元結尾的開始位置，這裡是11。

$ awk '{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }'
#列印RSTART和RLENGTH變數，這裡是11(start)，11(RSTART)，4(RLENGTH)。

toupper( string )
tolower( string )

$ awk '{ print toupper("test"), tolower("TEST") }'

systime()

$ awk '{ now = systime(); print now }'

systime( [format specification][,timestamp] )

$ awk '{ now=strftime( "%D", systime() ); print now }'
            $ awk '{ now=strftime("%m/%d/%y"); print now }'

function name ( parameter, parameter, parameter, ... ) {
                statements
                return expression                  # the return statement and expression are optional
}

awk '{printf("%s,",$1)}' filename

awk '{print NR,FNR}' test.txt test2.txt
1 1
2 2
3 3
4 4
5 5
6 6
7 7
8 8
9 9
10 10
11 1
12 2
13 3
14 4

#cat account
張三|000001
李四|000002

#cat cdr
000001|10
000001|20
000002|30
000002|15
-----------------------------------------------------------
想要得到的結果是將使用者名稱，帳號和金額在同一行列印出來,如下:
張三|000001|10
張三|000001|20
李四|000002|30
李四|000002|15

awk -F | 'NR==FNR{a[$2]=$0;next}{print a[$1]"|"$2}' account cdr

awk '{gsub(/$/,"");gsub(/,/,"");
if ($1>=0.1 && $1<0.2) c1+=1;
else if ($1>=0.2 && $1<0.3) c2+=1;
else if ($1>=0.3 && $1<0.4) c3+=1;
else if ($1>=0.4 && $1<0.5) c4+=1;
else if ($1>=0.5 && $1<0.6) c5+=1;
else if ($1>=0.6 && $1<0.7) c6+=1;
else if ($1>=0.7 && $1<0.8) c7+=1;
else if ($1>=0.8 && $1<0.9) c8+=1;
else if ($1>=0.9 ) c9+=1;
else c10+=1; }
END {printf  "%dt%dt%dt%dt%dt%dt%dt%dt%dt%dt",c1,c2,c3,c4,c5,c6,c7,c8,c9,c10} ' /NEW

awk '{if($0~/^>.*$/) {tmp=$0; getline; if( length($0)>=200) {print  tmp"n"$0; } }}'  filename

awk '{if($0~/^>.*$/) {IGNORECASE=1; if($0~/PREDICTED/) {getline;} else {print $0; getline;  print $0; } }}' filename

awk '{if($0~/^>.*$/) {IGNORECASE=1; if($0~/mRNA/) {print $0; getline;  print $0; } else {getline;} }}'  filename

awk '{ temp=$0; getline; if($0~/unavailable/) {;} else {print temp"n"$0;} }' filename

$ awk 'BEGIN{a="100";b="10test10";print (a+b+0);}' 
110 

#只需要將變數通過”+”連線運算。自動強制將字串轉為整型。非數位變成0，發現第一個非數位字元，後面自動忽略。

cat filename |awk  -F ',' '{ i = 1; while ( i <= NF ) {print $i; i++}}'

awk '{printf "%s,",$1}' filename

$ awk 'BEGIN{a=100;b=100;c=(a""b);print c}'      
100100 

#只需要將變數與””符號連線起來運算即可。

$ awk 'BEGIN{a="a";b="b";c=(a""b);print c}'      
ab 

$ awk 'BEGIN{a="a";b="b";c=(a+b);print c}'  
0

awk 'BEGIN{xxxx="";}{xxxx=(xxxx""$0);}END{print xxxx}' temp.txt
awk 'BEGIN{xxxx="";}{xxxx=(xxxx"",""$0);}END{print xxxx}' temp.txt

 cat > temp
74938 A>G 347589B>C43795743

awk '{x=$0;while (match(x, "[A-Z]>[A-Z]") > 0) {  print substr(x, RSTART, RLENGTH);  x = substr(x, RSTART+RLENGTH);} }' temp

#計算百分比
success_count=89
interface_count_total=100
awk 'BEGIN{printf "%.8f%n",'${success_count}'/'${interface_count_total}'*100}'

cat file
1
2
3
4
#計算平均值
awk '{sum+=$1}END{print sum/NR}' file

#求各行數佔總數的百分比：
awk '{a[NR]=$1;sum+=$1}END{for(i=1;i<=NR;i++)printf "%.2f%n", a[i]*100/sum}' file
10.00%
20.00%
30.00%
40.00%

awk '{for(i=1;i<=12;i++)$i="";print $0}' localhost_access_log.2015-01-03.txt              //寫法一
awk '{for(i=1;i<=12;i++){$i=""};print $0}' localhost_access_log.2015-01-03.txt            //寫法二
awk '{for(i=13;i<=NF;i++)printf $i" ";printf "n"}' localhost_access_log.2015-01-03.txt   //寫法三

[root@5201351 ~]# sed 's/^ *//' 5201351.txt             //這樣只能匹配空格開頭    
[root@5201351 ~]# sed 's/^s*//' 5201351.txt            //也可以這樣寫，除了空格還可以匹配製表符
[root@5201351 ~]# sed 's/^[[:space:]]*//' 5201351.txt   //也可以這樣寫，除了空格還可以匹配製表符

awk '{a=a+$2}END{print a}'  file

awk '{a[$3]+=$2}END{for(i in a) printf "%st %dn",i,a[i]}' file

awk '$4=="abc" && $5>=100 && $6<=500{a=a+$2}END{print a}' file

awk '{a[$3,"t",$4]+=$2}END{for(i in a)printf "%st %dn",i,a[i]}' file|sort

awk '{sum[$2]+=1}END{for(i in sum)print i"t"sum[i]}'  test.txt
如檔案test.txt第2列的值為"00""01"或"02"，執行結果如下：
[root@localhost cc]# cat test.txt
a 00
b 01
c 00
d 02
[root@localhost cc]# awk '{sum[$2]+=1}END{for(i in sum)print i"t"sum[i]}' test.txt
00 2
01 1
02 1
[root@localhost cc]#

[root@localhost cc]# awk '{if($2=="00") ++sum1;if($2=="01") ++sum2}END{print "00""t"sum1"n""01""t"sum2}' test.txt
00 2
01 1