web-dev-qa-db-ja.com

ケラ付きCNN、精度は向上しない

私は最近、機械学習を開始しました。CNNを学習しています。この Kerasブログ および github repo の助けを借りて、車の損傷の深刻度を検出するためのアプリケーションを作成する予定でした。 。

車のデータセットは次のようになります。

F:\WORKSPACE\ML\CAR_DAMAGE_DETECTOR\DATASET\DATA3A
├───training (979 Images for all 3 categories of training set)
│   ├───01-minor
│   ├───02-moderate
│   └───03-severe
└───validation (171 Images for all 3 categories of validation set)
    ├───01-minor
    ├───02-moderate
    └───03-severe

以下のコードでは、精度は32％しか得られません。

from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras import backend as K


# dimensions of our images.
img_width, img_height = 150, 150

train_data_dir = 'dataset/data3a/training'
validation_data_dir = 'dataset/data3a/validation'
nb_train_samples = 979
nb_validation_samples = 171
epochs = 10
batch_size = 16

if K.image_data_format() == 'channels_first':
    input_shape = (3, img_width, img_height)
else:
    input_shape = (img_width, img_height, 3)

model = Sequential()
model.add(Conv2D(32, (3, 3), input_shape=input_shape))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(1))
model.add(Activation('sigmoid'))

model.compile(loss='binary_crossentropy',
              optimizer='rmsprop',
              metrics=['accuracy'])

# this is the augmentation configuration we will use for training
train_datagen = ImageDataGenerator(
    rescale=1. / 255,
    shear_range=0.2,
    zoom_range=0.2,
    horizontal_flip=True)

# this is the augmentation configuration we will use for testing:
# only rescaling
test_datagen = ImageDataGenerator(rescale=1. / 255)

train_generator = train_datagen.flow_from_directory(
    train_data_dir,
    target_size=(img_width, img_height),
    batch_size=batch_size,
    class_mode='binary')

validation_generator = test_datagen.flow_from_directory(
    validation_data_dir,
    target_size=(img_width, img_height),
    batch_size=batch_size,
    class_mode='binary')
model.fit_generator(
    train_generator,
    steps_per_Epoch=nb_train_samples // batch_size,
    epochs=epochs,
    validation_data=validation_generator,
    validation_steps=nb_validation_samples // batch_size)

model.save_weights('first_try.h5')

私は試した：

  • エポックを10、20、50に増やします。
  • データセット内の画像を増やす（トレーニングセットに追加されたすべての検証画像）。
  • Conv2Dレイヤーのフィルターサイズを更新する
  • いくつかのConv2Dレイヤー、MaxPoolingレイヤーを追加しようとしました
  • adam、Sgdなどのさまざまなオプティマイザでも試してみました
  • また、フィルタストライドを(1,1) and (5,5)ではなく(3,3)に更新してみました
  • また、変更する画像のサイズを(256, 256)から(64, 64)、(150, 150)に更新してみました

しかし、運が悪いのですが、毎回精度が最大で32％以下ですが、それ以上ではありません。私が何を欠いているのか、どんな考えでも。

github repo のように、同じデータセットに対して72％の精度が得られます（トレーニング-979、検証-171）。なぜそれが私にとってうまくいかないのですか？.

私のマシンのgithubリンクから彼のコードを試しましたが、データセットのトレーニング中にハングアップし（8時間以上待っていました）、アプローチを変更しましたが、まだうまくいきません。

これが Pastebin に私のトレーニングエポックの出力が含まれています。

pythonkerasconv-neural-networktheano
8
Laxmikant

この問題は、出力クラスの数（3）と、選択した最終的なレイヤーのアクティブ化（シグモイド）と損失関数（バイナリクロスエントロピー）との不一致が原因で発生します。

シグモイド関数は、実際の値を[0、1]の間の値に「押しつぶす」が、バイナリ（2つのクラス）の問題に対してのみ設計されています。複数のクラスの場合は、softmax関数などを使用する必要があります。 Softmaxはシグモイドの一般化バージョンです（2つのクラスがある場合、2つは同等である必要があります）。

損失値も、複数のクラスを処理できるものに更新する必要があります。この場合、カテゴリクロスエントロピーが機能します。

コードに関しては、モデル定義とコンパイルコードを以下のバージョンに変更すると機能します。

model = Sequential()
model.add(Conv2D(32, (3, 3), input_shape=input_shape))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(1))
model.add(Activation('softmax'))

model.compile(loss='categorical_crossentropy',
              optimizer='rmsprop',
              metrics=['accuracy'])

最後に、データジェネレータでclass_mode='categorical'を指定する必要があります。これにより、出力ターゲットが、正しい値に対応する列に1を持ち、他の場所にはゼロを含むカテゴリ3列の行列としてフォーマットされます。この応答形式は、categorical_cross_entropy損失関数で必要です。

9
SymbolixAU

細かい修正：

model.add(Dense(1))

する必要があります：

model.add(Dense(3))

出力のクラス数に準拠する必要があります。

4
satyanarayan rao