首頁 > 軟體

go按行讀取檔案的三種實現方式彙總

2022-09-16 22:03:29

1. 使用ioutil讀取文字

// 全部讀取後按換行拆分
func ReadFile1(path string) error {
	fileHanle,err := os.OpenFile(path, os.O_RDONLY, 0666)
	if err != nil {
		return err
	}
 
	defer fileHanle.Close()
 
	readBytes, err := ioutil.ReadAll(fileHanle)
	if err != nil {
		return err
	}
 
	results := strings.Split(string(readBytes), "n")
 
	fmt.Printf("read result:%v", results)
	return nil
}

實現方式:使用iouitl一次性讀取全部檔案內容,然後使用"n"進行分割成行。

這種實現最簡單,但是隻適合都內容比較小的檔案,當讀取大檔案的時候,一次讀到記憶體需要佔用比較大的記憶體。

2. 使用bufio.Reader的ReadLine讀取

func ReadFile2(path string) error {
	fileHanle,err := os.OpenFile(path, os.O_RDONLY, 0666)
	if err != nil {
		return err
	}
 
	defer fileHanle.Close()
 
	reader := bufio.NewReader(fileHanle)
 
	var results []string
	// 按行處理txt
	for  {
		line, _, err := reader.ReadLine()
		if err == io.EOF {
			break
		}
		results = append(results, string(line))
	}
	fmt.Printf("read result:%vn", results)
	return nil
}

實現方式:使用NewReader建立bufio.Reader,迴圈呼叫Reader的ReadLine按行讀取,直接讀到檔案結束標記EOF。

bufio.Reader封裝了io, 並實現了緩衝I/O,同時它也實現了io.Reader的方法的Read方法。bufio緩衝區有預設大小是4K。

從ReadLine返回的文字不包括行尾(“rn”或“n”)。

如果一行大於快取,isPrefix 會被設定為 true,同時返回該行的開始部分(等於快取大小的部分)。該行剩餘的部分就會在下次呼叫的時候返回。當下次呼叫返回該行剩餘部分時,isPrefix 將會是 false 。

bufio.Reader的ReadLine最終呼叫的是ReadSlice方法,而ReadSlice返回的[]byte是指向Reader 中的buffer的一個slice,而不是copy一份返回,所以讀取的slice可能會被一下讀取操作重新,所以官方建議是使用ReadBytes和ReadString方法。

要注意是ReadBytes和ReadString返回的結果中包含傳入的界定符,如果最終結果不需要界定符的話需要自己處理。

bufio.Reader除了有ReadLine按行讀取外,他還封裝了按指定標記分割的方法。如下圖

3.使用bufio.Scanner讀取

func ReadFile3(path string)  error {
	fileHanle,err := os.OpenFile(path, os.O_RDONLY, 0666)
	if err != nil {
		return err
	}
 
	defer fileHanle.Close()
 
	scanner := bufio.NewScanner(fileHanle)
 
	var results []string
	// 按行處理txt
	for scanner.Scan(){
		lineTxt := strings.TrimSpace(scanner.Text())
 
		if len(lineTxt) == 0 {
			continue
		}
 
		results = append(results, lineTxt)
	}
	fmt.Printf("read result:%vn", results)
	return nil
}

實現方式:使用NewScanner建立bufio.Scanner,使用迴圈呼叫scanner的Scan判斷是否掃描到資料,然後通過scannner.Text()方法獲取到掃描的字串。

bufio.Scanner它底層封裝了io.Reader, 它的實現就跟Scanner名稱一樣,是一個按位元組流掃描的掃描器,當掃描到滿足Split函數條件的位元組資料後,就直接返回對應的掃描到的內容。

預設情況下,它64k行限制,如果想更大,可以自己通過Buffer函數進行設定。

Scanner預設提供了以下方法:

Scanner 型別具有 Split 函數,該函數接受 SplitFunc 函數來確定 Scanner 如何拆分給定的位元組片。預設的 SplitFunc 是 ScanLines,它將返回文字的每一行,並刪除行尾標記。Split的函數定義如下:

type SplitFunc func(data []byte, atEOF bool) (advance int, token []byte, err error)

我們可以自定義實現SpiteFunc來實現不同的拆分方式,比如我們可以使用bufio.ScanWords實現方式來按單詞拆分,如下:

func WordCounter(){
	const input = "Now is the winter of our discontent,nMade glorious summer by this sun of York.n"
	scanner := bufio.NewScanner(strings.NewReader(input))
	scanner.Split(bufio.ScanWords)
	count := 0
	for scanner.Scan() {
		count++
	}
	if err := scanner.Err(); err != nil {
		fmt.Fprintln(os.Stderr, "reading input:", err)
	}
	fmt.Printf("%dn", count)
}

我可以跟蹤到bufio包scan.go的檔案可以看到ScanWords的實現程式碼如下:

func ScanWords(data []byte, atEOF bool) (advance int, token []byte, err error) {
	// Skip leading spaces.
	start := 0
	for width := 0; start < len(data); start += width {
		var r rune
		r, width = utf8.DecodeRune(data[start:])
		if !isSpace(r) {
			break
		}
	}
	// Scan until space, marking end of word.
	for width, i := 0, start; i < len(data); i += width {
		var r rune
		r, width = utf8.DecodeRune(data[i:])
		if isSpace(r) {
			return i + width, data[start:i], nil
		}
	}
	// If we're at EOF, we have a final, non-empty, non-terminated word. Return it.
	if atEOF && len(data) > start {
		return len(data), data[start:], nil
	}
	// Request more data.
	return start, nil, nil
}

該函數簽名和SplitFunc定義實現一致。

總結

到此這篇關於go按行讀取檔案的三種實現方式的文章就介紹到這了,更多相關go按行讀取檔案內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!


IT145.com E-mail:sddin#qq.com