web-dev-qa-db-ja.com

マルチラベル二項分類のKerasclass_weight

マルチラベル問題にclass_weightを使用するのに問題があります。つまり、各ラベルは0または1のいずれかですが、入力サンプルごとに多くのラベルがあります。

コード（MWE用のランダムデータを含む）：

import tensorflow as tf
from keras.models import Sequential, Model
from keras.layers import Input, Concatenate, LSTM, Dense
from keras import optimizers
from keras.utils import to_categorical
from keras import backend as K
import numpy as np

# from http://www.deepideas.net/unbalanced-classes-machine-learning/
def sensitivity(y_true, y_pred):
        true_positives = tf.reduce_sum(tf.round(K.clip(y_true * y_pred, 0, 1)))
        possible_positives = tf.reduce_sum(tf.round(K.clip(y_true, 0, 1)))
        return true_positives / (possible_positives + K.epsilon())

# from http://www.deepideas.net/unbalanced-classes-machine-learning/    
def specificity(y_true, y_pred):
        true_negatives = tf.reduce_sum(K.round(K.clip((1-y_true) * (1-y_pred), 0, 1)))
        possible_negatives = tf.reduce_sum(K.round(K.clip(1-y_true, 0, 1)))
        return true_negatives / (possible_negatives + K.epsilon())

def to_train(a_train, y_train):
        hours_np = [np.arange(a_train.shape[1])]*a_train.shape[0]
        train_hours = to_categorical(hours_np)
        n_samples = a_train.shape[0]
        n_classes = 4
        features_in = np.zeros((n_samples, n_classes))
        supp_feat = np.random.choice(n_classes, n_samples)
        features_in[np.arange(n_samples), supp_feat] = 1

        #This model has 3 separate inputs
        seq_model_in = Input(shape=(1,),batch_shape=(1, 1, a_train.shape[2]), name='seq_model_in')
        feat_in = Input(shape=(1,), batch_shape=(1, features_in.shape[1]), name='feat_in')
        feat_dense = Dense(1)(feat_in)
        hours_in = Input(shape=(1,), batch_shape=(1, 1, train_hours.shape[2]), name='hours_in')

        #Model intermediate layers
        t_concat = Concatenate(axis=-1)([seq_model_in, hours_in])
        lstm_layer = LSTM(1, batch_input_shape=(1, 1, (a_train.shape[2]+train_hours.shape[2])), return_sequences=False, stateful=True)(t_concat)
        merged_after_lstm = Concatenate(axis=-1)([lstm_layer, feat_dense]) #may need another Dense() after
        dense_merged = Dense(a_train.shape[2], activation="sigmoid")(merged_after_lstm)

        #Define input and output to create model, and compile
        model = Model(inputs=[seq_model_in, feat_in, hours_in], outputs=dense_merged)
        model.compile(loss='binary_crossentropy', optimizer='adam', metrics=[sensitivity, specificity])

        class_weights = {0.:1., 1.:118.}
        seq_length = 23

        #TRAINING (based on http://philipperemy.github.io/keras-stateful-lstm/)
        for Epoch in range(2):
            for i in range(a_train.shape[0]):
                    y_true_1 = np.expand_dims(y_train[i,:], axis=1)
                    y_true = np.swapaxes(y_true_1, 0, 1)
                    #print 'y_true', y_true.shape
                    for j in range(seq_length-1):
                            input_1 = np.expand_dims(np.expand_dims(a_train[i][j], axis=1), axis=1)
                            input_1 = np.reshape(input_1, (1, 1, a_train.shape[2]))
                            input_2 = np.expand_dims(np.array(features_in[i]), axis=1)
                            input_2 = np.swapaxes(input_2, 0, 1)
                            input_3 = np.expand_dims(np.array([train_hours[i][j]]), axis=1)
                            tr_loss, tr_sens, tr_spec = model.train_on_batch([input_1, input_2, input_3], y_true, class_weight=class_weights)
                    model.reset_states()
       return 0

a_train = np.random.normal(size=(50,24,5625))
y_train = a_train[:, -1, :]
a_train = a_train[:, :-1, :]
y_train[y_train > 0.] = 1.
y_train[y_train < 0.] = 0.
to_train(a_train, y_train)

私が得ているエラーは次のとおりです。

ValueError: `class_weight` must contain all classes in the data. The classes set([330]) exist in the data but not in `class_weight`.

'set（[...]）'内の値は、実行ごとに変更されます。しかし、私が言ったように、データ内の2つのクラスは0と1だけです。サンプルごとに複数のラベルがあります。したがって、たとえば、1つの応答（y_train）は次のようになります。

print y_train[0,:]
#[ 0.  0.  1. ...,  0.  1.  0.]

どうすればclass_weights Kerasのマルチラベル問題の場合？

tensorflowmachine-learningkerasclassificationmultilabel-classification
9
StatsSorceress

うん。これはkerasの既知のバグです（ issue＃8011 ）。基本的に、kerasコードは、マルチラベル序数エンコーディングではなく、クラスの数を決定するときにワンホットエンコーディングを想定しています。

_keras/engine/training.py_ ：

_# if 2nd dimension is greater than 1, it must be one-hot encoded, 
# so let's just get the max index...
if y.shape[1] > 1:
  y_classes = y.argmax(axis=1)
_

現在、_y_true[:, 1] = 1_を設定する以外に、これ以上の回避策は考えられません。つまり、yの_1_の位置を常に1に「予約」します。これにより、_y_classes = 1_（二項分類の正しい値）が発生します。

なぜ機能するのですか？_y_true[i]_が_[0, 0, ..., 0, 1, ...]_のような値を取得し、先行ゼロがいくつかある場合、コードは失敗します。 Kerasの実装は（誤って）max要素のインデックスを介してクラスの数を推定します。これは_j > 1_であり、_y[i][j] = 1_であることがわかります。これにより、Kerasエンジンは3つ以上のクラスがあると見なすため、提供された_class_weights_は間違っています。 _y_true[i][1] = 1_を設定すると、_j <= 1_が確実になり（_np.argmax_が最小の最大インデックスを選択するため）、これによりkerasガードをバイパスできます。

4
Maxim

次に、ラベルのインデックスをリストに追加するコールバックを作成できます。

y = [[0,1,0,1,1]、[0,1,1,0,0]]

リストを作成します：category_list = [1、3、4、1、2]

ラベルの各インスタンスはcategory_listで集計されます

その後、あなたは使用することができます

weighted_list = class_weight.compute_class_weight（ 'balanced'、np.unique（category_list）、category_list）

次に、weighted_listをKerasで使用する辞書に変換するだけです。

3
Megan Hardy

マルチラベルの場合、2つのオプションが見つかりました。

  1. マルチ出力モデルを作成し、1つのラベルごとに1つの出力を作成し、標準のclass_weightディクショナリを渡します
  2. class_weightディクショナリとy_trueの渡されたリストに基づいてマスクを計算できるweights_aware_binary_crossentropy損失を作成し、次のことを行います。

K.binary_crossentropy(y_true, y_pred) * mask

2
Sergey Makarevich