web-dev-qa-db-ja.com

AdaBoostを使用してKerasベースのニューラルネットワークをブーストする方法は？

次のニューラルネットワークを二項分類問題に適合させると仮定します。

model = Sequential()
model.add(Dense(21, input_dim=19, init='uniform', activation='relu'))
model.add(Dense(80, init='uniform', activation='relu'))
model.add(Dense(80, init='uniform', activation='relu'))
model.add(Dense(1, init='uniform', activation='sigmoid'))
# Compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Fit the model
model.fit(x2, training_target, nb_Epoch=10, batch_size=32, verbose=0,validation_split=0.1, shuffle=True,callbacks=[hist])

AdaBoostを使用してニューラルネットワークをブーストするにはどうすればよいですか？ kerasにはこれに対するコマンドがありますか？

pythonneural-networkkerasadaboostboosting
11
ishido

これは次のように実行できます。最初にモデルを作成します（再現性のために関数として作成します）。

def simple_model():                                           
    # create model
    model = Sequential()
    model.add(Dense(25, input_dim=x_train.shape[1], kernel_initializer='normal', activation='relu'))
    model.add(Dropout(0.2, input_shape=(x_train.shape[1],)))
    model.add(Dense(10, kernel_initializer='normal', activation='relu'))
    model.add(Dense(1, kernel_initializer='normal'))
    # Compile model
    model.compile(loss='mean_squared_error', optimizer='adam')
    return model

次に、それをsklearnラッパー内に配置します。

ann_estimator = KerasRegressor(build_fn= simple_model, epochs=100, batch_size=10, verbose=0)

そして最後にそれを後押しします：

boosted_ann = AdaBoostRegressor(base_estimator= ann_estimator)
boosted_ann.fit(rescaledX, y_train.values.ravel())# scale your training data 
boosted_ann.predict(rescaledX_Test)
11
owise

Keras自体はadaboostを実装していません。ただし、Kerasモデルはscikit-learnと互換性があるため、おそらくそこからAdaBoostClassifierを使用できます： link 。コンパイル後、modelをbase_estimatorとして使用し、fitの代わりにAdaBoostClassifierインスタンスをmodelとして使用します。

ただし、この方法では、エポック数やbatch_sizeなど、fitに渡す引数を使用できないため、デフォルトが使用されます。デフォルトが十分でない場合は、モデルの上にscikit-learnインターフェースを実装し、適切な引数をfitに渡す独自のクラスを構築する必要がある場合があります。

1
Ishamael

どうやら、ニューラルネットワークはsklearn Adaboostと互換性がありません。 https://github.com/scikit-learn/scikit-learn/issues/1752 を参照してください。

0
Ditlev Kiersgaard Frisch