pytorch載入自己的資料集原始碼分享

x = torch.linspace(1, 10, 10)   # 訓練資料 linspace返回一個一維的張量,（最小值，最大值，多少個數）
print(x)
y = torch.linspace(10, 1, 10)   # 標籤
print(y)

import torch.utils.data as Data
torch_dataset = Data.TensorDataset(x, y)  # 對給定的 tensor 資料，將他們包裝成 dataset
#輸出的結果是<torch.utils.data.dataset.TensorDataset object at 0x00000145BD93F1C0>，需要使用載入器進行載入，才能迭代遍歷
print(torch_dataset)

BATCH_SIZE=5
loader = Data.DataLoader(#使用支援的預設的資料集載入的方式
    # 從資料庫中每次抽出batch size個樣本
    dataset=torch_dataset,       # torch TensorDataset format   載入資料集
    batch_size=BATCH_SIZE,       # mini batch size 5
    shuffle=False,                # 要不要打亂資料 (打亂比較好)
    num_workers=2,               # 多執行緒來讀資料
)
 
def show_batch():
    for epoch in range(3):
        for step, (batch_x, batch_y) in enumerate(loader): #載入資料集的時候起的作用很奇怪
            # training
            print("steop:{}, batch_x:{}, batch_y:{}".format(step, batch_x, batch_y))
            print("*"*100)
if __name__ == '__main__':
    show_batch()

# 自定義資料集類
class MyDataset(torch.utils.data.Dataset):
    def __init__(self, *args):
        super().__init__()
        # 初始化資料集包含的資料和標籤
        pass
        
    def __getitem__(self, index):
        # 根據索引index從檔案中讀取一個資料
        # 對資料預處理
        # 返回資料和對應標籤
        pass
    
    def __len__(self):
        # 返回資料集的大小
        return len()

'''
生成訓練集和測試集，儲存在txt檔案中
'''
import os
import random


train_ratio = 0.6


test_ratio = 1-train_ratio

rootdata = r"dataset"

#陣列定義
train_list, test_list = [],[]
data_list = []

class_flag = -1
# 將絕對路徑載入進陣列中
for a,b,c in os.walk(rootdata):#os.walk可以獲得根路徑、資料夾以及檔案，並會一直進行迭代遍歷下去，直至只有檔案才會結束
    print(a)
    for i in range(len(c)):
        data_list.append(os.path.join(a,c[i]))

    for i in range(0,int(len(c)*train_ratio)):
        train_data = os.path.join(a, c[i])+'t'+str(class_flag)+'n' #class_flag表示分類的類別
        train_list.append(train_data)

    for i in range(int(len(c) * train_ratio),len(c)):
        test_data = os.path.join(a, c[i]) + 't' + str(class_flag)+'n'
        test_list.append(test_data)

    class_flag += 1 

print(train_list)
# 將陣列的內容打亂順序
random.shuffle(train_list)
random.shuffle(test_list)

#分別將絕對路徑對應的陣列內容寫進文字檔案裡
with open('train.txt','w',encoding='UTF-8') as f:
    for train_img in train_list:
        f.write(str(train_img))

with open('test.txt','w',encoding='UTF-8') as f:
    for test_img in test_list:
        f.write(test_img)

def __init__(self, txt_path, train_flag=True):
     #初始化圖片對應的變數imgs_info以及一些相關變數
     self.imgs_info = self.get_images(txt_path) #imgs_info儲存了圖片以及標籤
     self.train_flag = train_flag

     self.train_tf = transforms.Compose([#對訓練集的圖片進行預處理
             transforms.Resize(224),
             transforms.RandomHorizontalFlip(),
             transforms.RandomVerticalFlip(),
             transforms.ToTensor(),
             transform_BZ
         ])
     self.val_tf = transforms.Compose([#對測試集的圖片進行預處理
             transforms.Resize(224),
             transforms.ToTensor(),
             transform_BZ
         ])

def __getitem__(self, index):
     img_path, label = self.imgs_info[index]
     #開啟圖片，並將RGBA轉換為RGB，這裡是通過PIL庫開啟圖片的
     img = Image.open(img_path)
     img = img.convert('RGB')
     img = self.padding_black(img) #將圖片新增上黑邊的
     if self.train_flag: #選擇是訓練集還是測試集
         img = self.train_tf(img)
     else:
         img = self.val_tf(img)
     label = int(label)

     return img, label

def __len__(self):
     return len(self.imgs_info)

if __name__=='__main__':
    batch_size = 16

    # # 給訓練集和測試集分別建立一個資料集載入器
    train_data = LoadData("train.txt", True)
    valid_data = LoadData("test.txt", False)


    train_dataloader = DataLoader(dataset=train_data, num_workers=4, pin_memory=True, batch_size=batch_size, shuffle=True)
    test_dataloader = DataLoader(dataset=valid_data, num_workers=4, pin_memory=True, batch_size=batch_size)

    for X, y in test_dataloader:
        print("Shape of X [N, C, H, W]: ", X.shape)
        print("Shape of y: ", y.shape, y.dtype)
        break