2021-05-12 14:32:11
Linux基礎之-正規表示式（grep，sed，awk）
2020-06-16 17:14:04
一. 正規表示式
正規表示式，又稱規則表示式。（英語：Regular Expression，在程式碼中常簡寫為regex、regexp或RE），電腦科學的一個概念。正規表示式是對字串操作的一種邏輯公式，就是用事先定義好的一些特定字元、及這些特定字元的組合，組成一個“規則字串”，這個“規則字串”用來表達對字串的一種過濾邏輯。
要想真正的用好正規表示式，正確的理解元字元是最重要的事情。下表列出了所有的元字元和對它們的一個簡短的描述。
|
元字元
|
描述
|
|
|
將下一個字元標記符、或一個向後參照、或一個八進位制跳脫符。例如，“n”匹配n。“n”匹配換行符。序列“”匹配“”而“(”則匹配“(”。即相當於多種程式語言中都有的“跳脫字元”的概念。
|
|
^
|
匹配輸入字串的開始位置。如果設定了RegExp物件的Multiline屬性，^也匹配“n”或“r”之後的位置。
|
|
$
|
匹配輸入字串的結束位置。如果設定了RegExp物件的Multiline屬性，$也匹配“n”或“r”之前的位置。
|
|
*
|
匹配前面的子表示式任意次。例如，zo*能匹配“z”，也能匹配“zo”以及“zoo”。
|
|
+
|
匹配前面的子表示式一次或多次(大於等於1次）。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等價於{1,}。
|
|
?
|
匹配前面的子表示式零次或一次。例如，“do(es)?”可以匹配“do”或“does”中的“do”。?等價於{0,1}。
|
|
{n}
|
n是一個非負整數。匹配確定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的兩個o。
|
|
{n,}
|
n是一個非負整數。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等價於“o+”。“o{0,}”則等價於“o*”。
|
|
{n,m}
|
m和n均為非負整數，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”將匹配“fooooood”中的前三個o為一組，後三個o為一組。“o{0,1}”等價於“o?”。請注意在逗號和兩個數之間不能有空格。
|
|
?
|
當該字元緊跟在任何一個其他限制符（*,+,?，{n}，{n,}，{n,m}）後面時，匹配模式是非貪婪的。非貪婪模式盡可能少的匹配所搜尋的字串，而預設的貪婪模式則盡可能多的匹配所搜尋的字串。例如，對於字串“oooo”，“o+”將盡可能多的匹配“o”，得到結果[“oooo”]，而“o+?”將盡可能少的匹配“o”，得到結果 ['o', 'o', 'o', 'o']
|
|
.點
|
匹配除“rn”之外的任何單個字元。要匹配包括“rn”在內的任何字元，請使用像“[sS]”的模式。
|
|
(pattern)
|
匹配pattern並獲取這一匹配。所獲取的匹配可以從產生的Matches集合得到，在VBScript中使用SubMatches集合，在JScript中則使用$0…$9屬性。要匹配圓括號字元，請使用“(”或“)”。
|
|
(?:pattern)
|
非獲取匹配，匹配pattern但不獲取匹配結果，不進行儲存供以後使用。這在使用或字元“(|)”來組合一個模式的各個部分時很有用。例如“industr(?:y|ies)”就是一個比“industry|industries”更簡略的表示式。
|
|
(?=pattern)
|
非獲取匹配，正向肯定預查，在任何匹配pattern的字串開始處匹配查詢字串，該匹配不需要獲取供以後使用。例如，“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”，但不能匹配“Windows3.1”中的“Windows”。預查不消耗字元，也就是說，在一個匹配發生後，在最後一次匹配之後立即開始下一次匹配的搜尋，而不是從包含預查的字元之後開始。
|
|
(?!pattern)
|
非獲取匹配，正向否定預查，在任何不匹配pattern的字串開始處匹配查詢字串，該匹配不需要獲取供以後使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”，但不能匹配“Windows2000”中的“Windows”。
|
|
(?<=pattern)
|
非獲取匹配，反向肯定預查，與正向肯定預查類似，只是方向相反。例如，“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”，但不能匹配“3.1Windows”中的“Windows”。
|
|
(?<!pattern)
|
非獲取匹配，反向否定預查，與正向否定預查類似，只是方向相反。例如“(?<!95|98|NT|2000)Windows”能匹配“3.1Windows”中的“Windows”，但不能匹配“2000Windows”中的“Windows”。這個地方不正確，有問題
此處用或任意一項都不能超過2位，如“(?<!95|98|NT|20)Windows正確，“(?<!95|980|NT|20)Windows 報錯，若是單獨使用則無限制，如(?<!2000)Windows 正確匹配
|
|
x|y
|
匹配x或y。例如，“z|food”能匹配“z”或“food”(此處請謹慎)。“[z|f]ood”則匹配“zood”或“food”或"|ood"。
|
|
[xyz]
|
字元集合。匹配所包含的任意一個字元。例如，“[abc]”可以匹配“plain”中的“a”。
|
|
[^xyz]
|
負值字元集合。匹配未包含的任意字元。例如，“[^abc]”可以匹配“plain”中的“plin”。
|
|
[a-z]
|
字元範圍。匹配指定範圍內的任意字元。例如，“[a-z]”可以匹配“a”到“z”範圍內的任意小寫字母字元。
注意:只有連字元在字元組內部時,並且出現在兩個字元之間時,才能表示字元的範圍; 如果出字元組的開頭,則只能表示連字元本身.
|
|
[^a-z]
|
負值字元範圍。匹配任何不在指定範圍內的任意字元。例如，“[^a-z]”可以匹配任何不在“a”到“z”範圍內的任意字元。
|
|
b
|
匹配一個單詞邊界，也就是指單詞和空格間的位置（即正規表示式的“匹配”有兩種概念，一種是匹配字元，一種是匹配位置，這裡的b就是匹配位置的）。例如，“erb”可以匹配“never”中的“er”，但不能匹配“verb”中的“er”。
|
|
B
|
匹配非單詞邊界。“erB”能匹配“verb”中的“er”，但不能匹配“never”中的“er”。
|
|
cx
|
匹配由x指明的控制字元。例如，cM匹配一個Control-M或回車符。x的值必須為A-Z或a-z之一。否則，將c視為一個原義的“c”字元。
|
|
d
|
匹配一個數位字元。等價於[0-9]。grep 要加上-P，perl正則支援
|
|
D
|
匹配一個非數位字元。等價於[^0-9]。grep要加上-P，perl正則支援
|
|
f
|
匹配一個換頁符。等價於x0c和cL。
|
|
n
|
匹配一個換行符。等價於x0a和cJ。
|
|
r
|
匹配一個回車符。等價於x0d和cM。
|
|
s
|
匹配任何不可見字元，包括空格、製表符、換頁符等等。等價於[ fnrtv]。
|
|
S
|
匹配任何可見字元。等價於[^ fnrtv]。
|
|
t
|
匹配一個製表符。等價於x09和cI。
|
|
v
|
匹配一個垂直製表符。等價於x0b和cK。
|
|
w
|
匹配包括下劃線的任何單詞字元。類似但不等價於“[A-Za-z0-9_]”，這裡的"單詞"字元使用Unicode字元集。
|
|
W
|
匹配任何非單詞字元。等價於“[^A-Za-z0-9_]”。
|
|
xn
|
匹配n，其中n為十六進位制跳脫值。十六進位制跳脫值必須為確定的兩個數位長。例如，“x41”匹配“A”。“x041”則等價於“x04&1”。正規表示式中可以使用ASCII編碼。
|
|
num
|
匹配num，其中num是一個正整數。對所獲取的匹配的參照。例如，“(.)1”匹配兩個連續的相同字元。
|
|
n
|
標識一個八進位制跳脫值或一個向後參照。如果n之前至少n個獲取的子表示式，則n為向後參照。否則，如果n為八進位制數位（0-7），則n為一個八進位制跳脫值。
|
|
nm
|
標識一個八進位制跳脫值或一個向後參照。如果nm之前至少有nm個獲得子表示式，則nm為向後參照。如果nm之前至少有n個獲取，則n為一個後跟文字m的向後參照。如果前面的條件都不滿足，若n和m均為八進位制數位（0-7），則nm將匹配八進位制跳脫值nm。
|
|
nml
|
如果n為八進位制數位（0-7），且m和l均為八進位制數位（0-7），則匹配八進位制跳脫值nml。
|
|
un
|
匹配n，其中n是一個用四個十六進位制數位表示的Unicode字元。例如，u00A9匹配版權符號（©）。
|
|
p{P}
|
小寫 p 是 property 的意思，表示 Unicode 屬性，用於 Unicode 正表示式的字首。中括號內的“P”表示Unicode 字元集七個字元屬性之一：標點字元。
其他六個屬性：
L：字母；
M：標記符號（一般不會單獨出現）；
Z：分隔符（比如空格、換行等）；
S：符號（比如數學符號、貨幣符號等）；
N：數位（比如阿拉伯數位、羅馬數位等）；
C：其他字元。
*註：此語法部分語言不支援，例：Javascript。
|
|
<
>
|
匹配詞（word）的開始（<）和結束（>）。例如正規表示式<the>能夠匹配字串"for the wise"中的"the"，但是不能匹配字串"otherwise"中的"the"。注意：這個元字元不是所有的軟體都支援的。 |
| ( ) | 將( 和 ) 之間的表示式定義為“組”（group），並且將匹配這個表示式的字元儲存到一個臨時區域（一個正規表示式中最多可以儲存9個），它們可以用 1 到9 的符號來參照。 |
| | | 將兩個匹配條件進行邏輯“或”（Or）運算。例如正規表示式(him|her) 匹配"it belongs to him"和"it belongs to her"，但是不能匹配"it belongs to them."。注意：這個元字元不是所有的軟體都支援的。 |
在linux中，萬用字元是由shell解釋的，而正規表示式則是由命令解釋的，下面我們就為大家介紹三種文字處理工具/命令：grep、sed、awk，它們三者均可以解釋正則。
二. grep
1. grep指令用於查詢內容包含指定的範本樣式的檔案，如果發現某檔案的內容符合所指定的範本樣式，預設grep指令會把含有範本樣式的那一列顯示出來。若不指定任何檔名稱，或是所給予的檔名為"-"，則grep指令會從標準輸入裝置讀取資料。
語法
grep [-abcEFGhHilLnqrsvVwxy][-A<顯示列數>][-B<顯示列數>][-C<顯示列數>][-d<進行動作>][-e<範本樣式>][-f<範本檔案>][--help][範本樣式][檔案或目錄...]
引數：
- -a或--text 不要忽略二進位制的資料。
- -A<顯示列數>或--after-context=<顯示列數> 除了顯示符合範本樣式的那一列之外，並顯示該列之後的內容。
- -b或--byte-offset 在顯示符合範本樣式的那一列之前，標示出該列第一個字元的位編號。
- -B<顯示列數>或--before-context=<顯示列數> 除了顯示符合範本樣式的那一列之外，並顯示該列之前的內容。
- -c或--count 計算符合範本樣式的列數。
- -C<顯示列數>或--context=<顯示列數>或-<顯示列數> 除了顯示符合範本樣式的那一列之外，並顯示該列之前後的內容。
- -d<進行動作>或--directories=<進行動作> 當指定要查詢的是目錄而非檔案時，必須使用這項引數，否則grep指令將回報資訊並停止動作。
- -e<範本樣式>或--regexp=<範本樣式> 指定字串做為查詢檔案內容的範本樣式。
- -E或--extended-regexp 將範本樣式為延伸的普通表示法來使用。
- -f<範本檔案>或--file=<範本檔案> 指定範本檔案，其內容含有一個或多個範本樣式，讓grep查詢符合範本條件的檔案內容，格式為每列一個範本樣式。
- -F或--fixed-regexp 將範本樣式視為固定字串的列表。
- -G或--basic-regexp 將範本樣式視為普通的表示法來使用。
- -h或--no-filename 在顯示符合範本樣式的那一列之前，不標示該列所屬的檔名稱。
- -H或--with-filename 在顯示符合範本樣式的那一列之前，表示該列所屬的檔名稱。
- -i或--ignore-case 忽略字元大小寫的差別。
- -l或--file-with-matches 列出檔案內容符合指定的範本樣式的檔名稱。
- -L或--files-without-match 列出檔案內容不符合指定的範本樣式的檔名稱。
- -n或--line-number 在顯示符合範本樣式的那一列之前，標示出該列的列數編號。
- -q或--quiet或--silent 不顯示任何資訊。
- -r或--recursive 此引數的效果和指定"-d recurse"引數相同。
- -s或--no-messages 不顯示錯誤資訊。
- -v或--revert-match 反轉查詢。
- -V或--version 顯示版本資訊。
- -w或--word-regexp 只顯示全字元合的列。
- -x或--line-regexp 只顯示全列符合的列。
- -y 此引數的效果和指定"-i"引數相同。
- --help 線上幫助。
範例1 查詢當前目錄下包含”test“內容的所有檔案
grep -r 匹配內容 目錄，以遞迴的方式查詢此目錄及子目錄下檔案的內容
範例2 反向查詢（-v）
查詢檔案中不包???”test“內容的行
2. egrep（擴充套件正則）
egrep執行效果與"grep-E"相似，使用的語法及引數可參照grep指令，與grep的不同點在於解讀字串的方法。
egrep是用extended regular expression語法來解讀的，而grep則用basic regular expression 語法解讀，extended regular expression比basic regular expression的表達更規範。
語法
egrep [範本模式] [檔案或目錄]
引數說明：
- [範本模式] ：查詢的字串規則。
- [檔案或目錄] ：查詢的目標檔案或目錄。
範例1 查詢當前目錄下包含“Apple”內容的檔案，並顯示匹配的行
範例2 匹配使用者組態檔中以“字母+數位+字母”命名的使用者
更多詳情見請繼續閱讀下一頁的精彩內容： http://www.linuxidc.com/Linux/2017-05/144221p2.htm
相關文章