Centos7 Shell程式設計之正規表示式、文書處理工具詳解

2022-08-04 22:04:55

1. 正規表示式

正規表示式可以很靈活的提供各種模糊匹配的篩選規則。常被用來檢索、替換那些符合某個模式的文字。grep、sed、awk等文書處理工具都支援通過正規表示式進行模式匹配

1.1 常規匹配

一串不包含特殊字元的正規表示式，匹配包含它自己的字元，例如：

[root@bigdata001 ~]# cat /etc/passwd | grep root
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@bigdata001 ~]#

1.2 常用特殊字元

特殊字元：^：匹配一行的開頭，例如：

[root@bigdata001 ~]# cat /etc/passwd | grep ^root
root:x:0:0:root:/root:/bin/bash
[root@bigdata001 ~]#

特殊字元：$：匹配一行的結束，例如：

[root@bigdata001 ~]# cat /etc/passwd | grep bash$
root:x:0:0:root:/root:/bin/bash
[root@bigdata001 ~]#

特殊字元：.：匹配一個任意的字元，例如：

[root@bigdata001 ~]# cat /etc/passwd | grep r..t
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@bigdata001 ~]#

特殊字元：*：不單獨使用，和上一個字元連用，表示匹配上一個字元0次或多次，例如

[root@bigdata001 ~]# cat /etc/passwd | grep ro*t
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@bigdata001 ~]#

字元區間：[ ]：表示匹配某個範圍內的一個字元

[68]：匹配6或者8
[0-9]：匹配一個0-9的數位
[0-9]*：匹配任意長度的數位字串
[a-z]：匹配一個a-z之間的字元
[a-c, e-f]-匹配a-c或者e-f之間的任意一個字元

[root@bigdata001 ~]# echo 12345 | grep "[0-9]*"
12345
[root@bigdata001 ~]#

**特殊字元：**：表示跳脫，並不會單獨使用。由於所有特殊字元都有其特定匹配模式，當我們想匹配某一特殊字元本身時(例如我想找出所有包含’$'的行)，就會碰到困難。此時我們就要將跳脫字元和特殊字元連用，來表示特殊字元本身，例如：

[root@bigdata001 ~]# echo -e 'abc$def'"n123456" | grep '$'
abc$def
[root@bigdata001 ~]#

實戰練習：

[root@bigdata001 ~]# echo 13667894536 | grep -E ^1[34578][0-9]{9}$
13667894536
[root@bigdata001 ~]#

grep預設是不支援正則特殊字元{}的，需要開啟拓展正規表示式功能

2. 文書處理工具

2.1 cut

cut可以將檔案中內容(也可以通過管道符傳輸)，按照指定分隔符將每一行進行切割，然後取指定位元組、字元、欄位進行輸出

基本語法： cut [選項引數] filename

選項引數如下：

-d 分隔符：按照指定分隔符分割每行資料，預設是製表符t

-f 列號：取第幾列。可以使用3,5表示取第三列和第五列，-3、3-5、5-分佈表示取前三列、第三列到第五列、第五列和後面所有列

-c 字元號：表示取第個字元。不能指定分隔符

-b 位元組號：表示取第個位元組。不能指定分隔符

範例：

[root@bigdata001 ~]# cat /etc/passwd | grep bash$ | cut -d ":" -f 1
root
bigdata
[root@bigdata001 ~]# 
[root@bigdata001 ~]# cat /etc/passwd | grep bash$ | cut -d ":" -f 6-
/root:/bin/bash
/home/bigdata:/bin/bash
[root@bigdata001 ~]#
[root@bigdata001 ~]# cat /etc/passwd | grep bash$ | cut -c 1
r
g
[root@bigdata001 ~]#

實戰範例：

[root@bigdata001 ~]# ifconfig ens33 | grep netmask | cut -d " " -f 10
192.168.8.111
[root@bigdata001 ~]#

2.2 awk

awk把檔案逐行的讀入(檔名或通過管道符傳輸)，以空格為預設分隔符將每行切片，切開的部分再進行分析處理

基本語法：awk [選項引數] ‘/pattern1/{action1} /pattern2/{action2} …’ filename

pattern：表示awk在資料中查詢的內容，就是正規表示式匹配
action：在找到匹配內容時所執行的一系列命令

選項引數說明

-F 分隔符：指定輸入檔案每行分隔符
-v 變數名=變數值：賦值一個使用者定義變數

awk的內建變數

FILENAME：檔名NR：資料所在的行號NF：每行切割後的列數

範例1：

[root@bigdata001 ~]# cat /etc/passwd | grep bash$
root:x:0:0:root:/root:/bin/bash
bigdata:x:996:1000::/home/bigdata:/bin/bash
[root@bigdata001 ~]# 
[root@bigdata001 ~]# awk -F ":" -v my_var=1 'BEGIN{print "begin line"} /bash$/{print $3+my_var", "$1", 檔名: "FILENAME", 行號: "NR",  列數: "NF} END{print "end line"}' /etc/passwd
begin line
1, root, 檔名: /etc/passwd, 行號: 1, 列數: 7
997, gpadmin, 檔名: /etc/passwd, 行號: 22, 列數: 7
end line
[root@bigdata001 ~]#

BEGIN和END都是可選的，表示在所有資料行讀取之前或之後執行的操作
可以不定義pattern，只定義action
print是awk內部的命令
$1表示第一列，$2表示第二列，依次類推

範例2：

[root@bigdata001 ~]# ifconfig | awk '/netmask/{print $2}'
192.168.8.111
127.0.0.1
[root@bigdata001 ~]#

前面的多個空格會當作一個空格，且只統計有內容的列所在的位置

範例3：

[root@bigdata001 ~]# cat test.awk
#!/bin/awk -f
# 在所有資料行讀取之前的操作
BEGIN {
    # 定義變數
    math = 0
    english = 0
 
    printf "name         math   english   totaln"
}

# 對每行資料進行的操作
{
    math+=$2
    english+=$3
    printf "%-10s %6d %9d %7dn", $1, $2, $3, $2+$3
}
# 在所有資料行讀取之後的操作
END {
    printf "total:     %6d %9dn", math, english
    printf "average:   %6.2f %9.2fn", math/NR, english/NR
}
[root@bigdata001 ~]# 
[root@bigdata001 ~]# echo -e "zhang_san 60 80nli_si 70 90" | awk -f test.awk
name         math   english   total
zhang_san      60        80     140
li_si          70        90     160
total:        130       170
average:    65.00     85.00
[root@bigdata001 ~]#

printf是wak內建命令
printf中-表示左對齊，預設右對齊。數位表示寬度。s表示字串，d表示數位，f表示浮點數(數位1.數位2：數位1表示寬度，數位2表示小數點位數)

到此這篇關於Centos7 Shell程式設計之正規表示式、文書處理工具的文章就介紹到這了,更多相關正規表示式、文書處理工具內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！