web-dev-qa-db-ja.com

CNNで使用するためにカスタムイメージベースのデータセットをPytorchにロードするにはどうすればよいですか？

私は問題を解決するためにインターネットで何時間も検索しました。ここに、私の質問への回答に役立つ関連背景情報をいくつか示します。

これは私の初めてのディープラーニングプロジェクトであり、自分が何をしているのかわかりません。私は理論は知っていますが、実際的な要素は知りません。

私が使用しているデータは、このリンクのkaggleにあります：（ https://www.kaggle.com/alxmamaev/flowers-recognition ）

CNNを使用して、データセットで提供される画像に基づいて花を分類することを目指しています。

これまでにデータをロードするために使用したサンプルコードは次のとおりです。これが私の最善の試みですが、先に述べたように、私は無知であり、Pytorchのドキュメントには、自分のレベルで理解できるほどの助けはありませんでした。 （ https://Pastebin.com/fNLVW1UW ）

    # Loads the images for use with the CNN.
def load_images(image_size=32, batch_size=64, root="../images"):
    transform = transforms.Compose([
        transforms.Resize(32),
        transforms.ToTensor(),
        transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

    train_set = datasets.ImageFolder(root=root, train=True, transform=transform)
    train_loader = torch.utils.data.DataLoader(train_set, batch_size=batch_size, shuffle=True, num_workers=2)

    return train_loader


# Defining variables for use with the CNN.
classes = ('daisy', 'dandelion', 'rose', 'sunflower', 'tulip')
train_loader_data = load_images()

# Training samples.
n_training_samples = 3394
train_sampler = SubsetRandomSampler(np.arange(n_training_samples, dtype=np.int64))

# Validation samples.
n_val_samples = 424
val_sampler = SubsetRandomSampler(np.arange(n_training_samples, n_training_samples + n_val_samples, dtype=np.int64))

# Test samples.
n_test_samples = 424
test_sampler = SubsetRandomSampler(np.arange(n_test_samples, dtype=np.int64))

ここにも私が回答を必要とする私の直接の質問があります：

  • トレーニング/テスト/検証のために、80/10/10分割でデータセットにロードするようにコードを修正するにはどうすればよいですか？

  • / images内のフォルダーによって既に分割されているこれらの画像に必要なラベル/クラスを作成するにはどうすればよいですか？

python-3.xmachine-learningconv-neural-networkpytorch
5
Aeryes

Kaggleからのデータとコードを見ると、データの読み込みに問題があります。

PyTorch ImageFolderを正しく読み込むには、データをクラスラベルごとに異なるフォルダーに配置する必要があります。あなたのケースでは、すべてのトレーニングデータが同じフォルダーにあるため、PyTorchは1つのトレーニングセットとしてそれをロードしています。 -train/daisy、train/dandelion、test/daisy、test/dandelionのようなフォルダー構造を使用して、trainとtestフォルダーをtrainとtest ImageFolderにそれぞれ渡すことで、これを修正できます。 。フォルダー構造を変更するだけで問題ありません。同様の例がある torchvision.datasets.Imagefolder の公式ドキュメントをご覧ください。

あなたが言ったように、これらの画像は/images内のフォルダーによってすでに分割されています。 PyTorch ImageFolderは、画像が次のように編成されていることを前提としています。ただし、このフォルダー構造は、列車セットのすべての画像を使用している場合にのみ正しくなります。

```
/images/daisy/100080576_f52e8ee070_n.jpg
/images/daisy/10140303196_b88d3d6cec.jpg
.
.
.
/images/dandelion/10043234166_e6dd915111_n.jpg
/images/dandelion/10200780773_c6051a7d71_n.jpg
```

ここで、「デイジー」、「タンポポ」などはクラスラベルです。

ケースでデータセットをトレインとテストセットに分割する場合の正しいフォルダー構造（データセットをトレイン、検証、テストセットに分割することを知っていることに注意してください。ただし、これは単なるアイデアを引き出す例）：

```
/images/train/daisy/100080576_f52e8ee070_n.jpg
/images/train/daisy/10140303196_b88d3d6cec.jpg
.
.
/images/train/dandelion/10043234166_e6dd915111_n.jpg
/images/train/dandelion/10200780773_c6051a7d71_n.jpg
.
.
/images/test/daisy/300080576_f52e8ee070_n.jpg
/images/test/daisy/95140303196_b88d3d6cec.jpg
.
.
/images/test/dandelion/32143234166_e6dd915111_n.jpg
/images/test/dandelion/65200780773_c6051a7d71_n.jpg
```

次に、データローダーの作成方法について、次の完全なコード例を参照できます。

import os
import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable
import torch.utils.data as data
import torchvision
from torchvision import transforms

EPOCHS = 2
BATCH_SIZE = 10
LEARNING_RATE = 0.003
TRAIN_DATA_PATH = "./images/train/"
TEST_DATA_PATH = "./images/test/"
TRANSFORM_IMG = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(256),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                         std=[0.229, 0.224, 0.225] )
    ])

train_data = torchvision.datasets.ImageFolder(root=TRAIN_DATA_PATH, transform=TRANSFORM_IMG)
train_data_loader = data.DataLoader(train_data, batch_size=BATCH_SIZE, shuffle=True,  num_workers=4)
test_data = torchvision.datasets.ImageFolder(root=TEST_DATA_PATH, transform=TRANSFORM_IMG)
test_data_loader  = data.DataLoader(test_data, batch_size=BATCH_SIZE, shuffle=True, num_workers=4) 

class CNN(nn.Module):
    # omitted...

if __== '__main__':

    print("Number of train samples: ", len(train_data))
    print("Number of test samples: ", len(test_data))
    print("Detected Classes are: ", train_data.class_to_idx) # classes are detected by folder structure

    model = CNN()    
    optimizer = torch.optim.Adam(model.parameters(), lr=LEARNING_RATE)
    loss_func = nn.CrossEntropyLoss()    

    # Training and Testing
    for Epoch in range(EPOCHS):        
        for step, (x, y) in enumerate(train_data_loader):
            b_x = Variable(x)   # batch x (image)
            b_y = Variable(y)   # batch y (target)
            output = model(b_x)[0]          
            loss = loss_func(output, b_y)   
            optimizer.zero_grad()           
            loss.backward()                 
            optimizer.step()

            if step % 50 == 0:
                test_x = Variable(test_data_loader)
                test_output, last_layer = model(test_x)
                pred_y = torch.max(test_output, 1)[1].data.squeeze()
                accuracy = sum(pred_y == test_y) / float(test_y.size(0))
                print('Epoch: ', Epoch, '| train loss: %.4f' % loss.data[0], '| test accuracy: %.2f' % accuracy)
3
cedrickchee