Python利用臨時檔案實現資料的儲存

2022-07-20 14:02:17

假設有一個 WebSocket 介面，會源源不斷地產生資料，我們需要將其儲存下來，然後進行處理。但由於資料量比較大，無法一次性載入到記憶體，最好的辦法就是儲存到檔案裡。

如果資料處理完畢，不再需要相關檔案的話，那麼我們可以使用臨時檔案。臨時檔案的最大好處就是，不用命名、並且關閉時會自動刪除，而無需我們手動刪。

下面我們來看看如何使用臨時檔案。

import tempfile

# 第一個引數是 mode，表示開啟模式
# 預設是 "wb+"，二進位制可讀可寫
f = tempfile.TemporaryFile()
# 假設我們寫 1G 的資料
f.write(b"+" * 1024 * 1024 * 1024)
# 此時檔案指標會移動到末尾
# 想要讀取的話，需要移動到開頭
f.seek(0, 0)
print(len(f.read()))
"""
1073741824
"""
print(1073741824 == 1024 * 1024 * 1024)
"""
True
"""

臨時檔案和真實檔案的操作方法是一樣的，因為臨時檔案本質上也屬於檔案，它的資料也儲存在系統上，只不過我們不知道罷了。當呼叫 f.close()，臨時檔案就會被自動刪除，佔用的磁碟空間也會被釋放。我們來驗證一下：

import psutil
import tempfile

GB_UNIT = 1024 * 1024 * 1024

# 臨時檔案預設儲存在 C 盤
# 我們檢視已經使用的空間
print(
    psutil.disk_usage("C:\").used / GB_UNIT
)  # 89.93075561523438

f = tempfile.TemporaryFile()
# 寫 1G 的資料
f.write(b"+" * 1024 * 1024 * 1024)

# 不出意外的話，應該增加 1G
print(
    psutil.disk_usage("C:\").used / GB_UNIT
)  # 90.93075561523438

# 關閉臨時檔案，然後釋放磁碟空間
f.close()
# 所以又會減少 1G
print(
    psutil.disk_usage("C:\").used / GB_UNIT
)  # 89.93075561523438

輸出一切正常，所以結論如下：

臨時檔案本質上也是檔案，它在儲存資料的時候，也是儲存在磁碟上，和真實檔案並無二致；
臨時檔案的呼叫屬於作業系統級別的，所以它的建立、讀寫資料，最終都會走作業系統提供的系統呼叫；
臨時檔案在被關閉時，作業系統會自動刪除；

然後我們還可以指定臨時檔案的儲存位置，雖然臨時檔案關閉時會自動刪除，但我們還是希望它能儲存在指定的位置上。

import tempfile
import time

f = tempfile.TemporaryFile(dir=r"E:data")
time.sleep(30)

為了觀察到現象，這裡 sleep 了 30 秒。執行時，開啟目錄，會發現檔案建立了，並且作業系統幫我們起了個名字。

等 30 秒過後，檔案又被自動刪除了。

然後 TemporaryFile 裡面還接收其它引數，我們來看一下：

大部分引數和內建函數 open 類似，但裡面有一個 prefix 和 suffix 引數。因為臨時檔案也是檔案，也要儲存在磁碟上，只不過關閉之後會自動刪除。所以它也要有一個名字，預設名字的字首是 "tmp"，沒有字尾，而我們可以指定字首和字尾，舉個例子：

import tempfile
import time

f = tempfile.TemporaryFile(dir=r"E:data",
                           prefix="你好呀",
                           suffix="我不好")
time.sleep(30)

執行一下看看：

此時檔案的字首和字尾就被我們改掉了，不過說實話這個字首和字尾沒太大卵用，既然是臨時檔案，用完就刪除了，名字沒太大關注的必要。

那麼問題來了，如果不指定 dir 引數，我們就不知道檔案存在哪了嗎？顯然不是的，預設存在什麼地方，tempfile 已經提前告訴我們了。

import tempfile

# Linux 系統是 /tmp
print(
    tempfile.gettempdir()
)  # C:UserssatoriAppDataLocalTemp
# 返回二進位制結果
print(
    tempfile.gettempdirb()
)  # b'C:\Users\satori\AppData\Local\Temp'

# 獲取字首
print(
    tempfile.gettempprefix()
)  # tmp
# 返回二進位制結果
print(
    tempfile.gettempprefixb()
)  # b'tmp'

最後想說的是，臨時檔案也可以使用 mmap 進行對映。

import tempfile
import mmap

f = tempfile.TemporaryFile()
f.write(b"hello, world")
# 對映之前需要移動一下游標
f.seek(0, 0)
# mmap 對映，這裡就對映 5 位元組
m = mmap.mmap(f.fileno(), 5)
m[:] = b"HELLO"

# 再次列印
print(f.read())
"""
b'HELLO, world'
"""

以上就是臨時檔案的用法，當然 tempfile 還提供了其它的操作，有興趣可以瞭解一下，但使用最普遍的還是 TemporaryFile。

到此這篇關於Python利用臨時檔案實現資料的儲存的文章就介紹到這了,更多相關Python臨時檔案儲存資料內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

Python利用臨時檔案實現資料的儲存

熱門文章