python NumPy讀取和儲存點雲資料實現

2022-08-31 14:02:52

前言

最近在學習點雲處理的時候用到了Modelnet40資料集，該資料集總共有40個類別，每個樣本的點雲資料存放在一個TXT檔案中，每行的前3個資料代表一個點的xyz座標。我需要把TXT檔案中的每個點讀取出來，然後用Open3D進行顯示。

怎麼把資料從TXT檔案中讀取出來呢？NumPy提供了一個功能非常強大的函數loadtxt可以非常簡單地實現這個功能。來看一下程式碼：

import open3d as o3d
import numpy as np
def main():
    points_data = np.loadtxt("airplane_0001.txt", delimiter=",", dtype=np.float32)
    pcd = o3d.geometry.PointCloud()
    pcd.points = o3d.utility.Vector3dVector(points_data[:, :3])
    o3d.visualization.draw_geometries([pcd])
if __name__ == '__main__':
    main()

從上面的程式碼可以看到，只需要一行程式碼就可以把TXT檔案中的點雲資料讀取進來了，接下來就可以呼叫Open3D的介面進行顯示了。在介紹loadtxt函數的用法之前，順便看一下Open3D的顯示效果：

airplane

loadtxt函數的用法

基本用法

在上面的例子中，由於TXT裡面每一行的資料是用逗號分割的，所以在呼叫loadtxt函數的時候除了設定檔案路徑外，還需要設定引數delimiter=","。另外，該函數預設的資料型別為float64，如果是其他資料型別的話還需要設定dtype為對應型別。

points_data = np.loadtxt("airplane_0001.txt", delimiter=",") #沒有指定資料型別
print('shape: ', points_data.shape)
print('data type: ', points_data.dtype)

結果：

shape: (10000, 6)
data type: float64

指定每一列的資料型別

假如我們有一個CSV檔案：

x,y,z,label,id
-0.098790,-0.182300,0.163800,1,1
0.994600,0.074420,0.010250,0.2,2
0.189900,-0.292200,-0.926300,3,3
-0.989200,0.074610,-0.012350,4,4

該檔案前面3列的資料型別是浮點型，後面2列的資料型別為整型，那麼按照前面的方式設定dtype來讀取就不合適了。不過沒關係，loadtxt函數可以設定每一列資料的資料型別，只不過稍微複雜一點，來看一下程式碼：

data = np.loadtxt("test.txt", delimiter=",",
                      dtype={'names': ('x', 'y', 'z', 'label', 'id'), 
                            'formats': ('f4', 'f4', 'f4', 'i4', 'i4')},
                      skiprows=1)
print('data: ', data)
print('data type: ', data.dtype)

這段程式碼的重點是dtype={}裡面的內容，'names'用來設定每一列資料的名稱，'formats'則用來設定每一列資料的資料型別，其中'f4'表示float32，'i4'表示int32。另外，CSV檔案中的第一行不是資料內容，可以設定引數skiprows=1跳過第一行的內容。

輸出結果：

data: [(-0.09879, -0.1823 , 0.1638 , 1, 1) ( 0.9946 , 0.07442, 0.01025, 0, 2)
( 0.1899 , -0.2922 , -0.9263 , 3, 3) (-0.9892 , 0.07461, -0.01235, 4, 4)]
data type: [('x', '<f4'), ('y', '<f4'), ('z', '<f4'), ('label', '<i4'), ('id', '<i4')]

可以看到，通過這樣的方式設定dtype，讀取的每一行資料變成了一個tuple型別。

結合生成器使用

從NumPy的檔案中可以知道，loadtxt函數的第一個引數可以是檔案物件、檔名或者生成器。傳入生成器有什麼用呢？我們來看幾個例子。

處理多個分隔符

假如我們的檔案內容是這樣的，每一行資料有3個分隔符","，"/"和"-"：

9.87,1.82,1.63,1/11-1
9.94,7.44,1.02,1/11-2
1.89,2.92,9.26,1/11-3
0.98,7.46,1.23,1/11-4

這種情況下不能通過delimiter引數設定多個分隔符，這時候就可以通過生成器來進行處理：

def generate_lines(file_path, delimiters=[]):
    with open("test.txt") as f:
        for line in f:
            line = line.strip()
            for d in delimiters:
                line = line.replace(d, " ")
            yield line
delimiters = [",", "/", "-"]
generator = generate_lines("test.txt", delimiters)
data = np.loadtxt(generator)
print(data)

這段程式碼構建了一個生成器將檔案中每一行的分隔符全部替換成loadtxt函數預設的空格分隔符，然後把生成器傳入loadtxt函數，這樣loadtxt函數就能成功解析檔案中的資料了。

輸出結果：

[[ 9.87 1.82 1.63 1. 11. 1. ]
[ 9.94 7.44 1.02 1. 11. 2. ]
[ 1.89 2.92 9.26 1. 11. 3. ]
[ 0.98 7.46 1.23 1. 11. 4. ]]

讀取指定的行

在某些情況下，我們需要讀取指定幾行的資料，那麼也可以通過生成器來實現。還是上面的檔案內容，我們通過生成器來讀取第2行和第3行：

def generate_lines(file_path, delimiters=[], rows=[]):
    with open("test.txt") as f:
        for i, line in enumerate(f):
            line = line.strip()
            for d in delimiters:
                line = line.replace(d, " ")
            if i in rows:
                yield line
delimiters = [",", "/", "-"]
rows = [1, 2]
generator = generate_lines("test.txt", delimiters, rows)
data = np.loadtxt(generator)
print(data)

輸出結果：

[[ 9.94 7.44 1.02 1. 11. 2. ]
[ 1.89 2.92 9.26 1. 11. 3. ]]

通過上面的例子可以知道，loadtxt函數結合生成器使用可以實現很多的功能。

tofile和fromfile函數

從TXT檔案中讀取到點雲資料後，我想把資料儲存到二進位制檔案中，需要怎麼操作呢？NumPy的ndarray類提供了tofile函數可以非常方便地將資料儲存到二進位制檔案中。把資料以二進位制檔案儲存後又怎麼讀進來呢？NumPy還提供了一個fromfile函數用於從文字檔案和二進位制檔案中讀取資料。

import open3d as o3d
import numpy as np
def main():
    points_data = np.loadtxt(
        "airplane_0001.txt", delimiter=",", dtype=np.float32)
    bin_file = 'airplane_0001.bin'
    points_data = points_data[:, :3]
    points_data.tofile(bin_file)
    pc = np.fromfile(bin_file, dtype=np.float32)
    pc = pc.reshape(-1, 3)
    pcd = o3d.geometry.PointCloud()
    pcd.points = o3d.utility.Vector3dVector(pc)
    o3d.visualization.draw_geometries([pcd])
if __name__ == '__main__':
    main()

在上面這段範例程式碼中，我從airplane_0001.txt檔案中讀取了點雲資料，然後通過tofile函數將資料儲存到二進位制檔案airplane_0001.bin中，再用fromfile函數從二進位制檔案中把點雲資料讀取出來用Open3D進行顯示。為了前後呼應，讓我們換個角度再看一眼顯示效果：

airplane2

參考資料

以上就是python NumPy讀取和儲存點雲資料實現的詳細內容，更多關於python NumPy讀取儲存點雲資料的資料請關注it145.com其它相關文章！

python NumPy讀取和儲存點雲資料實現

目錄

前言

loadtxt函數的用法

基本用法

指定每一列的資料型別

結合生成器使用

tofile和fromfile函數

熱門文章