web-dev-qa-db-ja.com

Keras：複数の入力でfit_generatorを使用する方法

2つのfit_generatorを持つことは可能ですか？

2つの入力を持つモデルを作成しています。モデルの構成を以下に示します。

enter image description here

ラベルYは、X1およびX2データに同じラベルを使用します。

次のエラーは引き続き発生します。

モデル入力のチェック時のエラー：モデルに渡すNumpy配列のリストは、モデルが期待したサイズではありません。 2つのアレイが表示されるはずですが、代わりに1つのアレイの次のリストが取得されました：[array（[[[0.75686276、0.75686276、0.75686276]、[0.75686276、0.75686276、0.75686276]、[0.75686276、0.75686276、0.75686276]、。 ..、[0.65882355、0.65882355、0.65882355 ...

私のコードは次のようになります。

def generator_two_img(X1, X2, Y,batch_size):
    generator = ImageDataGenerator(rotation_range=15,
                                   width_shift_range=0.2,
                                   height_shift_range=0.2,
                                   shear_range=0.2,
                                   zoom_range=0.2,
                                   horizontal_flip=True,
                                   fill_mode='nearest')

    genX1 = generator.flow(X1, Y, batch_size=batch_size)
    genX2 = generator.flow(X2, Y, batch_size=batch_size)

    while True:
        X1 = genX1.__next__()
        X2 = genX2.__next__()
        yield [X1, X2], Y
  """
      .................................
  """
hist = model.fit_generator(generator_two_img(x_train, x_train_landmark, 
                y_train, batch_size),
                steps_per_Epoch=len(x_train) // batch_size, epochs=nb_Epoch,
                callbacks = callbacks,
                validation_data=(x_validation, y_validation),
                validation_steps=x_validation.shape[0] // batch_size, 
                `enter code here`verbose=1)
pythonmachine-learningneural-networkkerasgenerator
13
김태형

このジェネレーターを試してください：

def generator_two_img(X1, X2, y, batch_size):
    genX1 = gen.flow(X1, y,  batch_size=batch_size, seed=1)
    genX2 = gen.flow(X2, y, batch_size=batch_size, seed=1)
    while True:
        X1i = genX1.next()
        X2i = genX2.next()
        yield [X1i[0], X2i[0]], X1i[1]

タングエンコメント後の編集

3入力用のジェネレーター：

def generator_three_img(X1, X2, X3, y, batch_size):
    genX1 = gen.flow(X1, y,  batch_size=batch_size, seed=1)
    genX2 = gen.flow(X2, y, batch_size=batch_size, seed=1)
    genX3 = gen.flow(X3, y, batch_size=batch_size, seed=1)
    while True:
        X1i = genX1.next()
        X2i = genX2.next()
        X3i = genX3.next()
        yield [X1i[0], X2i[0], X3i[0]], X1i[1]
13
Ioannis Nasios

TimeseriesGeneratorでこの例を実現するために、（残念ながらテストできなかった）ImageDataGeneratorの複数の入力を実装しています。私のアプローチは、_keras.utils.Sequence_から複数のジェネレーターのラッパークラスを構築し、その基本メソッドを実装することでした：___len___および___getitem___：

_from keras.preprocessing.image import ImageDataGenerator
from keras.utils import Sequence


class MultipleInputGenerator(Sequence):
    """Wrapper of 2 ImageDataGenerator"""

    def __init__(self, X1, X2, Y, batch_size):
        # Keras generator
        self.generator = ImageDataGenerator(rotation_range=15, 
                                            width_shift_range=0.2,
                                            height_shift_range=0.2,
                                            shear_range=0.2,
                                            zoom_range=0.2,
                                            horizontal_flip=True, 
                                            fill_mode='nearest')

        # Real time multiple input data augmentation
        self.genX1 = self.generator.flow(X1, Y, batch_size=batch_size)
        self.genX2 = self.generator.flow(X2, Y, batch_size=batch_size)

    def __len__(self):
        """It is mandatory to implement it on Keras Sequence"""
        return self.genX1.__len__()

    def __getitem__(self, index):
        """Getting items from the 2 generators and packing them"""
        X1_batch, Y_batch = self.genX1.__getitem__(index)
        X2_batch, Y_batch = self.genX2.__getitem__(index)

        X_batch = [X1_batch, X2_batch]

        return X_batch, Y_batch
_

ジェネレーターがインスタンス化されたら、このジェネレーターをmodel.fit_generator()で使用できます。

2
JVGD