web-dev-qa-db-ja.com

PyTorch：torchvision.datasets.ImageFolderおよびDataLoaderを使用したテスト

私はこのPyTorch CNNを kaggleのCats＆Dogsデータセット で動作させようとしている初心者です。テストイメージのターゲットがないため、テストできるように、テストイメージの一部を手動で分類し、クラスをファイル名に入れました（おそらく、トレインイメージの一部を使用する必要がありました）。

Torchvision.datasets.ImageFolderクラスを使用して、列車を読み込んで画像をテストしました。トレーニングは機能しているようです。

しかし、テストルーチンを機能させるには何をする必要がありますか？ test_data_loaderをtest_xとtest_yを介して下部のテストループに接続する方法はわかりません。

コードは このMNISTの例CNNに基づいています。 ローダーが作成された直後に、このようなものが使用されます。しかし、私は私のデータセットのためにそれを書き換えることに失敗しました：

test_x = Variable(torch.unsqueeze(test_data.test_data, dim=1), volatile=True).type(torch.FloatTensor)[:2000]/255.   # shape from (2000, 28, 28) to (2000, 1, 28, 28), value in range(0,1)
test_y = test_data.test_labels[:2000]

コード：

import os
import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable
import torch.utils.data as data
import torchvision
from torchvision import transforms

EPOCHS = 2
BATCH_SIZE = 10
LEARNING_RATE = 0.003
TRAIN_DATA_PATH = "./train_cl/"
TEST_DATA_PATH = "./test_named_cl/"
TRANSFORM_IMG = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(256),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                         std=[0.229, 0.224, 0.225] )
    ])

train_data = torchvision.datasets.ImageFolder(root=TRAIN_DATA_PATH, transform=TRANSFORM_IMG)
train_data_loader = data.DataLoader(train_data, batch_size=BATCH_SIZE, shuffle=True,  num_workers=4)
test_data = torchvision.datasets.ImageFolder(root=TEST_DATA_PATH, transform=TRANSFORM_IMG)
test_data_loader  = data.DataLoader(test_data, batch_size=BATCH_SIZE, shuffle=True, num_workers=4) 

class CNN(nn.Module):
    # omitted...

if __name__ == '__main__':

    print("Number of train samples: ", len(train_data))
    print("Number of test samples: ", len(test_data))
    print("Detected Classes are: ", train_data.class_to_idx) # classes are detected by folder structure

    model = CNN()    
    optimizer = torch.optim.Adam(model.parameters(), lr=LEARNING_RATE)
    loss_func = nn.CrossEntropyLoss()    

    # Training and Testing
    for Epoch in range(EPOCHS):        
        for step, (x, y) in enumerate(train_data_loader):
            b_x = Variable(x)   # batch x (image)
            b_y = Variable(y)   # batch y (target)
            output = model(b_x)[0]          
            loss = loss_func(output, b_y)   
            optimizer.zero_grad()           
            loss.backward()                 
            optimizer.step()

            # Test -> this is where I have no clue
            if step % 50 == 0:
                test_x = Variable(test_data_loader)
                test_output, last_layer = model(test_x)
                pred_y = torch.max(test_output, 1)[1].data.squeeze()
                accuracy = sum(pred_y == test_y) / float(test_y.size(0))
                print('Epoch: ', Epoch, '| train loss: %.4f' % loss.data[0], '| test accuracy: %.2f' % accuracy)
pythonpytorch
5
kett

Kaggleのデータとコードを見ると、トレーニングとテストセットの両方で、データの読み込みに問題があるようです。まず、デフォルトのPyTorch ImageFolderを正しくロードするには、データはラベルごとに異なるフォルダーにある必要があります。あなたの場合、すべてのトレーニングデータが同じフォルダーにあるため、PyTorchはそれを1つのクラスとしてロードしているため、学習は機能しているようです。これを修正するには、-_train/dog_、-_train/cat_、-_test/dog_、-_test/cat_などのフォルダー構造を使用してから、トレインとテストフォルダーをトレインに渡し、それぞれImageFolderをテストします。トレーニングコードは問題ないようです。フォルダ構造を変更するだけで、うまくいくはずです。 ImageFolder の公式ドキュメントを見てください。これには同様の例があります。

8
Monster

上記の@Monsterのコメントによると、ImageFolderの私のフォルダ構造です

enter image description here

そして、これは私がデータセットをロードする方法：

    train_dataset=datasets.ImageFolder(root="./root/",transform=train_transforms)
1
Mo-Gang