golang 整合antlr語法校驗解析

2023-02-28 18:01:24

1. 背景

在專案中我們可能會遇到表示式檢索的場景，例如，輸入以下表示式檢索，需要解析表示式並得到檢索結果。

ip="192.168.1.3" && (port="80" || protocol="http")

此時，我們需要對語法進行校驗、解析，應當如何做呢？

下面給大家推薦一種使用語法校驗工具——Antlr

Antlr是一個語法分析器，本身是用java實現的，然是Runtime的庫也支援Golang、Java、Python等。

接下來給大家演示一下使用golang整合antlr進行語法解析。

2. goland安裝antlr外掛

開啟goland，File --> Settings --> Plugins, 搜尋antlr，安裝 antlr4

外掛安裝完成後，可以看到ANTLR Preview視窗，一會我們可以在這個視窗進行簡單的語法校驗。

3. 編寫語法校驗規則

1.建立工程，引入包

go get -u github.com/antlr/antlr4/runtime/Go/antlr/v4

2.在工程中新建一個antlr目錄，建立一個字尾名為 .g4 的檔案，作為規則檔案。此處我們建立Rule.g4

// 定義語法名稱，需要和檔名匹配
grammar Rule;

// DECIMAL, IDENTIFIER, COMMENTS, WS are set using regular expressions
// key 為表示式中可支援的檢索欄位，可以是固定值(每個值中間用 | 隔開，是」或「的意思)，也可以是正規表示式
// value 使用正規表示式
KEY : 'ip' | 'port' | 'protocol';
//VALUE :'"' ( '""' | ~["rn] )* '"' ;
//KEY : ('A' .. 'Z' | 'a' .. 'z' |  '_') + ;
VALUE :'"' ( '\"' | ~["] )* '"' ;

// COMMENT and WS are stripped from the output token stream by sending
// to a different channel 'skip'

COMMENT : '//' .+? ('n'|EOF) -> skip ;

WS : [ rtu000Cn]+ -> skip ;


/* Parser rules */
// 語法校驗的入口
start : logicalExpr* EOF;

// 語法支援的結構
logicalExpr
    : comparisonExpr // 範例： key == value 表示支援 == 和 != 的表示式
    | logicalExpr operator logicalExpr // 範例： key1 == value1 && key2 != value2 表示支援 && 和 || 運運算元連線表示式
    | lparen logicalExpr rparen // 範例： (key1 == value1 && key2 != value2) 表示支援 () 連線表示式
    ;

comparisonExpr
    : KEY compare VALUE
    ;
compare
    : '='
    | '!='
    ;
operator
    : '&&'
    | '||'
    ;
lparen
    :  '('
    ;
rparen
    :  ')'
    ;

3.初始化校驗語法

1.選中Rule.g4 檔案，滑鼠右鍵，選擇 Configure ANTLR Tool…

2.設定輸出路徑，和Rule.g4 同目錄；設定語言，使用Go

3.選中Rule.g4 檔案，滑鼠右鍵，選擇 Generate ANTLR Recognizer，完成規則初始化

4.樹狀圖校驗

4. 語法校驗

1.自定義listener

package parser

import (
	"github.com/antlr/antlr4/runtime/Go/antlr/v4"
	"strings"
)

type MyRuleListener struct {
	*BaseRuleListener
	Queue    []interface{}
	QueueStr []string
}

// 注意：方法名必須是這個名字
func (s *MyRuleListener) EnterComparisonExpr(ctx *ComparisonExprContext) {
	key := ctx.GetChild(0).(antlr.ParseTree).GetText()
	operator := ctx.GetChild(1).(antlr.ParseTree).GetText()
	value := ctx.GetChild(2).(antlr.ParseTree).GetText()
	if strings.HasPrefix(value, """) {
		value = value[1:]
	}
	if strings.HasSuffix(value, """) {
		value = value[:len(value)-1]
	}
	keyValue := map[string]string{}
	keyValue["key"] = key
	keyValue["operator"] = operator
	keyValue["value"] = value

	s.PushStr(ctx.GetText())
	s.Push(keyValue)
}

// EnterKeyValue is called when production KeyValue is entered.
func (s *MyRuleListener) ExitOperator(ctx *OperatorContext) {
	s.Push(ctx.GetText())
	s.PushStr(ctx.GetText())
}

// EnterKeyValue is called when production KeyValue is entered.
func (s *MyRuleListener) ExitLparen(ctx *LparenContext) {
	s.Push(ctx.GetText())
	s.PushStr(ctx.GetText())
}

// EnterKeyValue is called when production KeyValue is entered.
func (s *MyRuleListener) ExitRparen(ctx *RparenContext) {
	s.Push(ctx.GetText())
	s.PushStr(ctx.GetText())
}

func (s *MyRuleListener) Push(i interface{}) {
	s.Queue = append(s.Queue, i)
}

func (s *MyRuleListener) PushStr(i string) {
	s.QueueStr = append(s.QueueStr, i)
}

2.獲取解析異常的錯誤資訊

package parser

import "github.com/antlr/antlr4/runtime/Go/antlr/v4"

type RuleErrorListener struct {
	antlr.ErrorListener
	Msg string
}

func (l *RuleErrorListener) SyntaxError(recognizer antlr.Recognizer, offendingSymbol interface{}, line, column int, msg string, e antlr.RecognitionException) {
	l.Msg = msg
}

3.校驗

package main

import (
	parser "antlr-demo/antlr"
	"errors"
	"fmt"
	"github.com/antlr/antlr4/runtime/Go/antlr/v4"
)

func main() {
	expre := "ip="192.168.1.3" && (port="80" || protocol="http")"
	err := checkExpre(expre)
	if err != nil {
		fmt.Println(err)
	}
}

func checkExpre(expre string) error {
	input := antlr.NewInputStream(expre)
	var lexerErr parser.RuleErrorListener
	lexer := parser.NewRuleLexer(input)
	lexer.AddErrorListener(&lexerErr)
	stream := antlr.NewCommonTokenStream(lexer, 0)
	ruleParser := parser.NewRuleParser(stream)
	ruleParser.BuildParseTrees = true
	var ruleErr parser.RuleErrorListener
	ruleParser.AddErrorListener(&ruleErr)
	tree := ruleParser.Start()
	listener := new(parser.MyRuleListener)
	antlr.ParseTreeWalkerDefault.Walk(listener, tree)

	if lexerErr.Msg != "" || ruleErr.Msg != "" {
		return errors.New("輸入的語法不正確")
	}
	expreList := listener.QueueStr
	fmt.Println("expreList--->", expreList)
	expreMap := listener.Queue
	fmt.Println("expreMap--->", expreMap)
	return nil
}

4.結果驗證

1.正確表示式